Als ich vor ein paar Tagen wieder einmal bei Technorati gestöbert habe, habe ich auch darüber nachgedacht, wie man den Erfolg eines Blogs messen kann. Dieses Thema wurde in der Blogwelt ja schon ausgiebig diskutiert – ohne eine endgültige Antwort zu finden. Meistens wird die sg. „Technorati-Authority“ benutzt: also die Anzahl der Links die von anderen Blogs auf ein bestimmtes Blog gesetzt werden.
Das ist sicherlich ein gutes Meßinstrument – einflußreichere (und damit wohl auch erfolgreichere) Blogs werden öfter verlinkt. Aber Links sind natürlich nicht alles. Ein Blog, dass sich z.B. nur mit der Welt der Blogs beschäftigt, kann leicht eine hohe authority bekommen, denn dann ist es nicht verwunderlich, wenn viele Blogs darauf verweisen. Aber außerhalb der (eigentlich doch relativ kleinen) Blogwelt werden solche Beiträge kaum Interesse hervorrufen. Andererseits kann es Blogs geben, die kaum oder keine Verlinkungen aufweisen – aber doch von sehr vielen Leuten gelesen werden.
Es ist also leicht zu sehen, wie schwer es ist, den Erfolg eines Blogs zu bewerten – und auch ich kenne keine vernünftige Lösung für dieses Problem. Aber diese Situation hat mich an ein anderes Bewertungsproblem erinnert: Wie bewertet man den Erfolg von Wissenschaftlern?
Was macht einen Wissenschaftler zu einem guten Wissenschaftler? Individuell lässt sich diese Frage meistens beantworten: setzt man sich lang genug mit der Arbeit eines konkreten Forschers auseinander (und hat man Ahnung vom Forschungsthema), dann kann man recht gut einschätzen, ob hier gute oder schlechte Arbeit geleistet wird. Aber was macht man, wenn man z.B. 50 Bewerbungen für eine PostDoc-Stelle vorliegen hat, und entscheiden soll, wer den Job bekommt? Da braucht es dann irgendeine andere Möglichkeit, die Entscheidung zu treffen.
Und genau wie für den Erfolg von Blogs meistens eine einzelne Zahl (die Technorat-authority) verwendet wird, gibt es auch bei der Bewertung von Wissenschaftlern (zumindest in den Naturwissenschaften) eine entsprechende „Meßgröße“: die Publikationsliste.
Publikationen sind das für alle sichtbare Endprodukt eines wissenschaftlichen Projekts: nach Abschluß einer Forschungsarbeit werden die Ergebnisse mitsamt der Methode zusammengefasst und aufgeschrieben. Fachgutachter prüfen die Arbeit und (bei bestandender Prüfung) sie wird in einer passenden Zeitschrift veröffentlicht und so dem Rest der wissenschaftlichen Gemeinschaft zugängig gemacht.
Die Publikationsliste ist quasi eine erweiterte Visitenkarte eines Forschers, die dessen bisherige Karriere kurz wiedergibt. Aber auch hier ergeben sich einige Probleme: um tatsächlich zu bewerten, ob die publizierten Arbeiten gut oder weniger gut (schlechte Arbeiten sollten es ja eigentlich gar nicht bis zu einer Veröffentlichung schaffen) sind, sollte man sie lesen. In der Praxis ist dafür selten Zeit – oft reicht es nur dazu, die Artikel kurz zu überfliegen und meistens nichtmal dazu. Deshalb wird darauf geachtet, in welchen Zeitschriften, die Artikel erschienen sind. Es gibt nämlich „gute“ und „schlechte“ Journale – und genau wie die authority bei den Blogs bestimmen auch hier gegenseitigen „Verlinkungen“ über die Güte einer Zeitschrift.
Die entsprechende Zahl heisst „Impact Factor“ und bestimmt sich daraus, wie oft Atrikel aus der Zeitschrift in anderen Artikel zitiert werden. Je mehr Zitate, desto höher der Impact Factor und desto „besser“ die Zeitschrift. Und je mehr Artikel man selbst in Zeitschriften mit einem hohen Impact Factor veröffentlicht hat, desto höher wird die Qualität der Publikationsliste (und damit der eigenen Forschungsarbeit) eingeschätzt.
Natürlich ist diese Methode nicht ganz unproblematisch. Da Veröffentlichungen in Zeitschriften mit hohem Impact Factor mehr zählen, versucht man natürlich meistens, seine Artikel auch dort unterzubringen. Journale, die sich auf bestimmte Bereiche stark spezialisiert haben, gehen da leicht ein bisschen unter. Ein Beispiel aus meinem Arbeitsbereich, der Himmelsmechanik: Da gibt es die Zeitschrift „Celestial Mechanics and Dynamical Astronomy“ (CMDA) die sich speziell mit Himmelsmechanik, störungs- bzw. chaostheoretischen Anwendungen und Astrodynamik beschäftigt. Im Editorial Board sitzen führende Himmelsmechaniker, die Qualitätsstandards sind hoch und trotzdem ist der Impact Factor von CMDA vergleichsweise niedrig. Ich habe deswegen schon öfter Artikel, die thematisch eigentlich genau zu CMDA gepasst hätten, lieber in Astronomy & Astrophysics (A&A) veröffentlicht (einer Zeitschrift, die sich mit allen Themen der Astronomie beschäftigt und einen vergleichsweise hohen Impact Factor hat). Das führt dann natürlich wieder dazu, dass der Impact Factor von A&A die Chance hat, größer zu werden während der von CMDA kleiner wird (und eine Publikation dort noch unattraktiver – es wird aber trotzdem bald ein neuer Artikel von mir dort erscheinen).
Je nach Zeitschrift, in der ein Artikel veröffentlicht wird, wird dieser „besser“ oder „schlechter“ – auch wenn sich am eigentlich Inhalt des Artikels nichts ändert. Ein anderer Artikel von mir soll beispielsweise in den „Astronomischen Nachrichten“ erscheinen – immerhin die älteste noch existierende astronomische Fachzeitschrift der Welt! Trotzdem ist ihr Impact Factor ziemlich klein. Ich hätte meinen Artikel sicherlich auch bei Astronomy & Astrophysics oder z.B. den Monthly Notices of the Royal Astronomical Society unterbringen können. In diesem Fall waren es aber organisatorische Gründe die zur Veröffentlichung in den Astronomischen Nachrichten geführt haben – und damit dann auch die „Qualität“ meines Artikels verringern.
Ein gewisses Gegengewicht zu dieser Entwicklung hat die Digitalisierung der Zeitschriftendatenbanken gebracht. Während früher Artikel in unbekannteren bzw. „unwichtigeren“ Journalen tatsächlich nicht gelesen oder zur Kenntnis genommen wurden (weil die entsprechenden Zeitschriften nur in wenigen Bibliotheken vorhanden waren), sorgen heute Datenbanken wie z.B. das Astrophysics Data System (ADS) für mehr Sichtbarkeit. Wer nach Artikeln zu bestimmten Themen sucht, findet alle – egal ob sie in Nature, Science, A&A, CMDA oder den Astronomischen Nachrichten erschienen sind.
Das ändert aber nichts daran, dass die Zeitschriften, in denen man veröffentlicht, immer noch eine sehr wichtige Rolle spielen, wenn es daran geht, eine wissenschaftliche Karriere zu bewerten. Das System ist unfair – aber ich habe mir schon öfter Gedanken darüber gemacht, ohne wirklich eine bessere Lösung zu finden. Wenn man nicht tatsächlich alle Artikel eines Wissenschaftlers detailliert studiert, dann muss man zwangsläufigt irgendwelche Näherungswerte suchen, die die Qualität beschreiben können – und das kann wohl nie eine befriedigende Lösung sein. Oder haben meine Leserinnen und Leser vielleicht eine geniale Idee?
Ein weiteres wesentliches Problem ist die Beschränkung der Beurteilung auf die Publikationen. Nicht umsonst heisst die Redewendung ja „Publish or Perish!“ – „Publiziere oder gehe unter!“. Wer nicht publiziert, existiert in der wissenschaftlichen Welt quasi nicht.
Ich habe ja hier schon öfter gefordert, dass man Wissenschaftler nicht allein nach ihrer Forschungsarbeit bzw. Publikationen beurteilen sollte. Nicht, weil Forschung nicht wichtig ist. Selbstverständlich, ist Forschung ein fundamentaler Bestandteil der wissenschaftlichen Arbeit. Aber eben nicht alles. Meiner Meinung nach sollte die Vermittlung des Wissens (Lehre und Öffentlichkeitsarbeit) eine mindestens ebenso wichtige Rolle für die Forschung spielen. Diese Themen werden an den Universitäten meist etwas stiefmütterlich behandelt. Das ist auch nicht verwunderlich – wenn der Erfolg eines Wissenschaftlers rein an der Forschung und an den Publikationen gemessen werden, dann wird man auch nicht sonderlich viel Zeit auf die Lehre oder gar Öffentlichkeitsarbeit verwenden. Ob man gute oder schlechte Vorlesungen hält, sich um die Öffentlichkeitsarbeit kümmert oder nicht, spielt bei der Bewertung wissenschaftlicher Karrieren kaum eine Rolle – und dementsprechend „wichtig“ wird sie auch genommen.
Wenn auch diese Dinge eine wichtige Rolle bei der Messung des wissenschaftlichen Erfolgs spielen würden, dann könnte man vielleicht von der reinen Fixierung auf Publikationen und die damit verbundenen Probleme abkommen. Aber das ist wohl nur eine Wunschvorstellung…
Die Verwendung des „Impact Factor“ als Meßgröße für die Bewertung von Zeitschriften hat die Internationale Mathematiker-Union übrigens letztes Jahr in einem ausführlichen Report massiv kritisiert: https://www.mathunion.org/fileadmin/IMU/Report/
Über ein (zugegebenermaßen extremes) Beispiel hatte ich im November in https://www.scienceblogs.de/mathlog/2008/11/chaos-bei-elsevier.php geschrieben: die beiden umstrittenen Zeitschriften „International Journal of Nonlinear Sciences and Numerical Simulation“ und „Chaos, Solitons and Fractals“ sind mit 4.386 bzw. 3.025 die beiden mathematischen Zeitschriften mit dem weltweit höchsten Impact Factor.
Die allgemein als führend angesehenen Zeitschriften „Annals of Mathematics“ und „Inventiones Mathematicae“ haben einen Impact Factor von 1.708 bzw. 0.879.
Es gibt wohl fast keine Fachgesellschaft, die den IP noch nicht kritisiert hat. Die Artikel darüber füllen Bücher. Besonders, wenn der IP nicht nur verwendet wird um Zeitschriften zu bewerten, sondern eben individuelle Forscher. Aber die vorgeschlagenen Alternativen, etwa h-index etc. sind auch recht mangelhaft. Werden wir wohl noch eine Zeitlang mit dem IP leben müssen…
@Thilo: Danke für die Infos – manchmal ist der Impact Factor wirklich völlig absurd! Gibt es eigentlich konkrete und vernünftige Alternativvorschläge? Ich hab jetzt nicht ausführlich gesucht – aber mir wäre bis jetzt noch nichts untergekommen…
Alternativvorschläge macht der Report nicht. Es geht eher darum, daß man sich nicht auf „simple und objektive“ Methoden verlassen soll. Ich zitiere mal aus der Zusammenfassung:
@ Florian Freistetter (17.02.09; 23:52 Uhr): eigenfactor.org hat sich, soweit ich das verstanden habe, aufgemacht, um eine solche Alternative zu bieten.
Das ist, wie schon gesagt, das perfide an dem System. Ich glaube auch gehört zu haben, dass ein „spezifischer“ IP mal im Gespräch war. Eben, wenn ein Spezial-Journal in seinem Fachkreis das Beste ist, aber nur einen kleinen IP hat.
Aber auch hier bekommt man dann das Problem, wie weit man die Grenzen ziehen will und wer es entscheidet.
Diese ganze Betrachtung gilt aber tatsächlich nur bis man eine PostDoc-Stelle hat.
Danach wird ausschliesslich und ohne jede Ausnahme in Höhe der eingeworbenen Drittmittel gemessen. Das ist natürlich „einfacher“ zu messen (wobei sich dann natürlich noch die Frage stellt, in welchem Umfang jemand tatsächlich am Erfolg eines Drittmittelantrags beteiligt war), aber ob das so viel besser ist?
@Lexi: „Danach wird ausschliesslich und ohne jede Ausnahme in Höhe der eingeworbenen Drittmittel gemessen. „
Naja,, so ganz stimmt das auch nicht. Natürlich spielen die dann auch eine Rolle – aber die Publikationen sind immer wichtig – wer keine „gute“ Publikationsliste hat bekommt ja auch keine Drittmittel.
An der Uni Jena ist es sogar so, dass Teile des Institutsbudgets vom Impact-Factor abhängen. Jedem Institut wird ein Teil des Budgets abgezogen. Dieses Geld kommt in einen gemeinsamen Topf. Dann wird aus allen Publikationen des Instituts ein Impact Factor berechnet – wenn der über dem Durchschnitt aller Institute liegt, bekommt das Institut mehr Geld zurück, als es eingezahlt hat; ansonsten weniger…
@Lexi:
Wenn ich meine Diplomanden am Wochenende auf den Strich schicke, zählt das auch als Drittmittel? Da sind die Arbeitsbedingungen eh besser als im Labor…
Ernsthaft, ich glaube es würde schon viel bringen, wenn man die Anzahl der Publikationen irgendwie einschränken würde. Zwei pro Jahr und Wissenschaftler oder so. Dann müssten die Leute sorgfältiger auswählen, die Publikationen werden gehaltvoller (weil sich niemand mehr Papers wie „The Gene Product of ASDF1 is Expressed in Macaque Anal Fistulae“ erlauben könnte) und es werden mehr slots in den High-Impact-Journals frei.
@ Bernd Weiss:
Soweit ich es verstehe ist der einzige wesentliche Unterschied zwischen eigenfactor und impact factor, daß beim eigenfactor Zitate aus vielzitierten Zeitschriften mehr zählen als Zitate aus wenig zitierten Zeitschriften. (Ähnlich wie beim Google rank, wo Links von vielverlinkten Seiten mehr zählen als Links von wenigverlinkten.) Die grundsätzlchen Probleme des impact factor löst das m.E. nicht.
@Fischer: Prinzipiell eine gute Idee. Darauf, dass „publish or perish“ verstärkt zu weniger gehaltvollen Publikationen führt, bin ich ja oben gar nicht eingegangen… Aber ich glaube nicht, dass sich das irgendwie durchsetzen würde (Denk nur an die ganzen Ko-Autorschaften, die viele oft im Vorbeigehen noch mitnehmen – bei so einer Beschränkung wäre das dann nicht mehr möglich). Außerdem stelle ich es mir schwer vor, dass irgendwie gesetzlich (?) zu verankern.
Aber man könnte probieren, einfach nur 2 Arbeiten pro Forscher/Jahr für einen Impact-Factor heranzuziehen. Wenn sowieso nur 2 Arbeiten wichtig sind, dann pendelt sich der Publikationsoutput wohl im Laufe der Zeit von selbst um diesen Wert ein…
Ich bin Publikationsmäßig ja völlig weg vom Fenster..
aber super, dass Du doch wieder in Richtung Fuzzy weitergearbeitet hast :-)!! Ich habs damals schon nicht verstanden, aber ich find Du bist da ganz gut
Publish or Perish ist ja zunächst mal sehr sinnvoll: Wenn ich meine Forschungsergebnisse nicht veröffentliche, dann hat ausser mir niemand was davon. Ich sehe auch den Nutzen von „wenigen gehaltvollen“ Publikationen nicht. Natürlich sollte man die Resultate nicht auf so viele Paper wie möglich verteilen, aber auch partielle Resultate können ja etwas sein, was jemand anderem bei seiner Forschung weiterhilft.
Was bisher noch nicht zur Sprache kam, und was ich am Impact Factor auch für problematisch halte: Jede Institution, die einen IF haben will, muss eine Lizenzgebühr abdrücken. Das wäre soweit nicht schlimm, irgendeiner muss ja für die Berechnungen bezahlt werden. Diese Geld geht aber an ein einziges for-profit Unternehmen, Thomson Scientific (bzw. Thomson Reuters). Dass sich die Wissenschaftswelt für die Berechnung des ja offensichtlich so wichtigen IF auf ein einziges Unternehmen verlässt, das auch noch wirtschaftliche Interessen damit verfolgt, habe ich noch nie verstanden. Und Thomson verteidigt sein Monopol mit Händen und Füßen, auch gegen wissenschaftliche non-profit Projekte…
Qualität von Forschung lässt sich nicht quantifizieren.
„Man soll die Stimmen wägen, und nicht zählen“
Frei nach Schiller
Peter Piper
Und außerdem nicht vergessen: Auch Forschung ohne „Erfolg“ (Publikationen akzeptieren i.A. nur Positivresultate) kann sehr gute, qualitativ hochwertige Forschung sein!
Ich hatte die Idee eines „Erklär-Impact-Faktor“, so dass in einer Art deutschlandweitem universitäts/schul internen Intranet (youtube-ähnlich) die Lehrer, wiss. Mitarbeiter, Professoren usw. (also Fachkündigen) ihre Online-Vorlesungen untereinander bewerten können und dort eine Art Erklärrangliste entsteht. Mal als Beispiel: 100 Anfängervorlesungen zu „Aussagenlogik“ stehen Online und können dann nach und nach bewertet werden (auch sekundengenau, rot/grün, also gut/schlecht, Auswertediagramm equalizerartig) und dann gibt’s eine Reihung – und der Student kann sich die Vorlesung nach „Erklär-Wert“ sortieren lassen und schaut zuerst den Spitzenreiter usw. Habe ich hier genauer ausgeführt: https://plus.google.com/106110585362718948544/posts/TVaAVzfgFBn
Die Kernargumentation Ihres Artikels zielt darauf ab, dass die Frage des Impact Factors von der jeweiligen Zeitschrift losgelöst betrachtet werden soll. Die eigentliche Bewertung erfolgt durch Fachkollegen im Zuge des Review.
Die Lösung würde also einfach darin bestehen, die Review selbst in den Impact Factor einfließen zu lassen. Die Art und Weise der Publikation wird dabei völlig irrelevant. Dazu müsste man die Review Prozesse unter Beachtung der Fachgebiete nur etwas formalisieren.
Also die Bildung von entsprechenden Reviewgremien mit einem variablen Pool an Forschern die Reviews durchführen können. Vermutlich bräuchte man auch eine Art „Berufungsinstanz“, um berechtigte Beschwerden von Antragstellern in einer zweiten Review zu prüfen.
Die Einrichtung solcher Gremien könnte durch internationale Vereinbarungen zwischen Universitäten entsprechend eingerichtet, tw. finanziert, formalisiert und kontrolliert werden.