Ke scientometrickému hodnocení ve vědě 

Petr Hadrava 

                                                               „Věda.
                                                                Vznešená, nebeská bohyně jednomu – druhému bývá
                                                                 krávou pořádnou, vždy dodává másla mu dost.“

V předmluvě ke své deváté knize o architektuře se Vitruvius pozastavuje nad skutečností, že staří Řekové přiznávali slávu a doživotní renty vítězům sportovních her a zápasníkům, kteří „činí cvičením silnější jen své tělo“, a nikoliv myslitelům a spisovatelům, „kteří přinášejí po všechen věk všem národům nezměrný prospěch“ a „sílí nejen duševní činnost svou, nýbrž duševní činnost všech lidí, když svými knihami připravují nauky pro vzdělání a zbystření ducha.“ Tento povzdech je aktuální i dnes, kdy veřejnost i politici věnují více pozornosti sportu než vědě a kultuře, přestože v proklamacích je právě věda označována za hlavní klíč k „trvale udržitelnému rozvoji“ společnosti. Příčina této nesrovnalosti je ovšem celkem zřejmá – v podstatě každý pozná, kdo vítězí ve sportovním utkání, a může prožívat napětí zápasu spolu se závodníky. Naproti tomu střet vědeckých myšlenek s obtížemi sledují i odborníci a někdy až daleká budoucnost odhalí, že se v názoru na vítězství té či oné myšlenky mýlili. Historická zkušenost však potvrzuje, že vědecká práce skutečně přináší „nezměrný prospěch“, který je dlouhodobý a nadnárodní, i když z něj zpravidla dokáží těžit více ty národy, které svoji duševní činnost posilují i účastí na rozvoji vědy. Rentami je ovšem potřeba šetřit, proto se s oceněním tvůrčí práce často otálí. Nezřídka se váhá i s investováním do vědy budoucí. Různé směry výzkumu mají různou dobu návratnosti i různě velká rizika. Slávu, která by pomohla motivovat jednotlivce k investování vlastního úsilí do vědecké práce, lze však pořídit levněji a v tomto směru přece jen od Vitruviových dob došlo k jistému pokroku zaváděním různých cen (v prvé řadě Nobelovy ceny) a vyhlašováním soutěží a žebříčků úspěšnosti. Okázalá ocenění částečně smiřují veřejnost i její představitele s náklady vynakládanými na vědu. Mezinárodně uznané úspěchy vědců poskytují mnohým příslušníkům jejich národů zadostiučinění alespoň trochu podobné úspěchům národních reprezentantů ve sportu a neúspěchy mohou alarmovat k zamyšlení, zda by nešlo stav vědy ve společnosti zlepšit.
   Důvěryhodnost soutěží ve vědě by si sice žádala regulérnost podmínek a objektivnost porovnání výsledků závodníků, to jsou ovšem u skutečné vědy nesplnitelné podmínky, neboť jejím smyslem je hledat a vytvářet neustále nové a nové myšlenky, tedy (na rozdíl od sportu) vycházet vždy z jiné startovní pozice a směřovat vždy k jinému cíli. Zdánlivé řešení tohoto problému nabízí scientometrie: jestliže obvyklým výsledkem vědecké práce jsou publikace, pak stačí spočítat, kolik jich který autor vydal, a každý laik hned pozná kvality svých vědců, aniž by se vůbec obtěžoval pochopit, v čem jejich práce vlastně spočívá. Že mají různé publikace různou hodnotu? Snadná pomoc! Stačí je „vhodně“ obodovat. Nejrozšířenější systém bodování pomocí tzv. „impaktních faktorů“ navíc umožňuje zabít dvě mouchy jednou ranou – „hodnotit kvality“ vědců a zároveň i jejich časopisů. Základním kritériem je přitom počet citací jednotlivých publikací během dvou let od vydání, podchycených v databázi Citačního indexu. Stranou pozornosti přitom většinou zůstává otázka jak objektivnosti tohoto kritéria, tak především jeho smyslu. Tlak na publikační aktivitu vědců na jednu stranu pomáhá překonat jejich možné otálení motivované např. přehnaným perfekcionismem, které může vést k neefektivnímu studiu podružností a zdržení nosných vědeckých myšlenek. Přesahuje-li však tento tlak jistou optimální míru a přechází v zásadu „publish or perish“, stává se pro skutečný pokrok vědy ještě větším nebezpečím. Vede totiž k nahrazování kvality vědecké práce kvantitou a znemožňuje koncipovat výzkum zásadních problémů, které vyžadují dlouhodobé studium. Již samotná lhůta dvou let k měření ohlasů pro potřeby impaktního faktoru ostatně nasvědčuje tomu, že nepočítá se zásadními pracemi působícími „po všechen věk“, jejichž pochopení, přijetí a další rozvinutí často vyžaduje podstatně delší čas.
   Pověra o objektivnosti scientometrie je zaštítěna psychologickou bariérou založenou na principu pohádky Císařovy nové šaty. Vědec, který by si dovolil vyjádřit pochybnosti o této metodice, se vystavuje nebezpečí nařčení, že „... je hloupý, nebo se nehodí pro svůj úřad ...“ a chce pouze omlouvat svou vlastní neschopnost. Proto většinou raději řekne: „Ano, ale je třeba výsledky správně normovat...“ – tj. tak, jak to nejlépe odpovídá jeho oboru a jeho stylu práce. Přitom výsledné hodnocení podle pravidel upravených různými stoupenci scientometrie se často liší zcela zásadně. Není proto nijak překvapivé, že první, kdo důrazně řekl, že „císař je nahý“, byli zástupci světových odborných časopisů zabývajících se dějinami a filosofií vědy, techniky a medicíny. Vysokou morální hodnotu jejich odmítnutí scientometrických zlozvyků dokazuje skutečnost, že vyřazením se ze seznamu impaktovaných časopisů se dobrovolně vzdávají různých výhod, včetně ekonomických, které jim dosavadní zvyklosti skýtaly. (Podobně je tomu i s nedávným počinem dr. Jiřího Grygara, který odmítl cenu Rady vlády pro výzkum, vývoj a inovace – RVVI. Tato Rada totiž prosazuje podobné škodlivé praktiky do vědy v ČR, konkrétně tzv. „kafemlejnek“, tj. financování vědeckých institucí podle počtu výstupů, které úředníci uznají za hodné zařazení do své databáze.) Rozbor a závěry o negativním dopadu scientometrického hodnocení se ve zmíněném prohlášení prestižních časopisů soustřeďují na oblast humanitních věd (a speciálně na databázi ERIH). Platnost těchto argumentů je však obecná, neboť vyplývá ze samotné podstaty vědy a její úlohy ve společnosti, bez ohledu na to, zda jde o vědu společenskou, přírodní či technickou, teoretickou či experimentální a výzkum základní či aplikovaný. Jistě by bylo dobré, kdyby škody zůstaly  ušetřeny alespoň humanitní vědy, ještě lepší by však bylo uchránit před zkázou veškerou vědu. Podívejme se proto podrobněji alespoň na některé argumenty užívané v diskusích o hodnocení vědy a na skutečné fungování vědy i jeho odraz ve scientometrii.
   V nepříliš dávné době zazněl na půdě Akademického sněmu AV ČR názor, že „jedině důsledným uplatňováním scientometrických kritérií můžeme pozvednout českou vědu na nobelovskou úroveň“. Přes dílčí výhrady k některým rozhodnutím nobelovského výboru je jistě Nobelova cena všeobecně uznávaným oceněním a nelze popřít, že by české vědě slušela větší úspěšnost v této kategorii. Nobelova cena ovšem bývá udělována za konkrétní vědecké výsledky, nikoliv za scientometrické triumfy, ať už měřené počtem „publikací protlačených do impaktovaných časopisů“, nebo počtem citací, či dokonce vysokým Hirschovým indexem. Jako příklad vezměme amerického astrofyzika indického původu Subrahmanyana Chandrasekhara (1910-1995), který získal Nobelovu cenu v roce 1983. Databáze ADS, která je v oboru astronomie a astrofyziky nejúplnější, uvádí celkem 410 publikací S. Chandrasekhara. Tomuto počtu se blíží několik českých astronomů, někteří i podstatně mladší jej dokonce značně převyšují. V počtu citací (17987 podle ADS k počátku roku 2010) Chandrasekhar předčí zmíněné české autory více než o řád. Zajímavé je podívat se na rozložení těchto citací. Na prvním místě s 2293 citacemi je rozsáhlá studie (89 stran) v Reviews of Modern Physics z roku 1943, na druhém (2261 citací) monografie Hydrodynamics and hydromagnetic stability z roku 1961 a následuje dalších šest monografií, než přijde řada na první běžný časopisecký článek v Astrophysical Journal (ApJ 97, s. 255, z roku 1943 se 422 citacemi). ADS zobrazuje i časové rozložení citací jednotlivých prací: jejich počet se pro uvedené Chandrasekharovy práce pohybuje v prvních letech po vydání do několika málo jednotek a teprve v průběhu jedné až několika dekád narůstá do desítek až ke stovce citací ročně. Tato skutečnost dokresluje pochybný význam impaktního faktoru (ať již počítaného standardně za dva roky, nebo v nově zvažovaném pětiletém období). Zároveň odhaluje nepravdivost často užívaného tvrzení, že scientometrie je adekvátní pro přírodní vědy, v nichž prý základ tvoří časopisecké publikace, a je nepoužitelná pro humanitní vědy, v nichž těžiště spočívá v monografiích. V každém oboru vědy je vhodné různé výsledky (a to i téhož autora) publikovat různou formou a forma sama ještě nevypovídá o jejich kvalitě a významu. I v přírodních vědách je ovšem zpravidla forma monografie volena pro syntézy, které pak mohou mít větší dopad na další vývoj oboru. Problém je tedy spíše v technice excerpování odkazů z publikací. Scientific Citation Index (SCI), který je východiskem scientometrických měření, a po něm i Web of Science (WoS), totiž monografie a jejich citace vůbec nesleduje. Například WoS uvádí jako nejcitovanější Chandrasekharovu práci jeho článek s E. Fermim v ApJ 118, s. 116, z roku 1953 se 422 citacemi, podle ADS je tento článek na 10. místě s 308 citacemi. Pro zajímavost uveďme, že výsledek hledání ve WoS, které vychází z příjmení a iniciály jména, uvádí na prvním místě s 686 citacemi práci indického fyzika Sivaramakrishny Chandrasekhara (1930-2004) a spoluautorů z roku 1977. Tato práce se týká fyziky kapalných krystalů, a proto vzhledem k aplikovatelnosti tohoto oboru nepřekvapí, že je citovanější než astrofyzikální práce amerického jmenovce. Neznamená to však, že tato práce je lepší či horší – pro pokrok vědy byly a jsou nepochybně významné obě a škodlivé by bylo snažit se jejich význam poměřovat nebo dokonce rozhodovat, která z nich má nárok na podporu a tím i existenci.
   Technický problém pro databáze publikací v humanitních oborech může pramenit i z rozmanitosti způsobu citování např. v poznámkách pod čarou nebo přímo v textu. V přírodních a technických vědách se (do značné míry i pod tlakem zvyklostí SCI) prakticky sjednotil způsob citování v seznamech literatury na konci práce a různé počítačové systémy sloužící autorům k přípravě rukopisů již rovnou pracují s položkami bibliografických databází. S rozvojem informačních technologií a snahou o digitalizaci a zpřístupnění maximálního množství literatury on-line by i tento problém, stejně jako excerpování citací z monografií, mohl být řešitelný technicky. Výhoda takových databází  je neocenitelná především pro samotnou tvůrčí práci, neboť sledování  prací propojených citacemi do minulosti i budoucnosti poskytuje jisté,  byť ne bezvýhradně spolehlivé hledisko ke sledování myšlenkových souvislostí. Bojkotování bibliografických databází je proto do značné míry srovnatelné s luddismem v počátcích průmyslové revoluce nebo s omezováním distribuce užitečných léků jen proto, že by mohly být zneužity i k výrobě drog. Scientometrie je ve své podstatě živel, který je dobrý sluha, ale zlý pán.
   Problém je nutné řešit v jeho jádru, tedy odmítnutím zneužívání scientometrie k mechanickému hodnocení vědy, a tím spíše k rozhodování o její podpoře např. neblaze proslulou metodou českých „kafemlynářů“. Dlouhodobé zkušenosti již ukázaly, že scientometrická hlediska při hodnocení kvality vědecké práce mohou být značně zavádějící. Jestliže někdo je např. autorem pozoruhodně velkého počtu prací, popřípadě i na značně rozmanitá témata či s různými spoluautory, může to znamenat, že je velmi tvůrčí a inspirující osobností typu Chandrasekhara, může to však také znamenat, že buď stereotypně produkuje podle zaběhané šablony (což ještě stále může být pro vědu užitečné, i když třeba méně, než kdyby napsal menší počet hlubších prací), nebo že dokonce zneužívá svého postavení (např. při rozhodování o finančních zdrojích, přístupu k materiálu či potřebné technice, vlivu v redakčních radách či jiných orgánech ap.), aby se mohl podepsat pod výsledky druhých. Objektivnější obraz o výsledcích jednotlivců poskytuje spíše soubor několika jimi vybraných stěžejních prací a tzv. kvalifikovaných citací, než celkový počet jejich publikací a citací. Podobně při hodnocení institucí je vhodnější metoda peer-review, tedy kvalifikovaného posouzení skupinou specialistů z daného oboru (jak je to pravidlem i v AV ČR). Těm mohou bibliografické databáze a jejich scientometrické vyhodnocení posloužit k první orientaci, závěry však mohou učinit zodpovědně teprve po zvážení všech kontextů. Takový proces je velice náročný na čas a práci hodnotitelů i hodnocených. V důsledku je tedy i finančně nákladný, a nemělo by se jím plýtvat. Představuje však pro vědu podstatně menší ztrátu, než zavádění neadekvátních formálních kritérií nutících vědce k simulování výsledků. Zatímco jednotlivec může a musí v každém systému volit míru poctivosti své práce, vydírání prostřednictvím podmiňování podpory institucí a celých oborů nesmyslnými pravidly jej staví do neřešitelného rozporu – zodpovědný osobní přístup se stává zároveň nekolegiální.
  Otázkou zůstává, odkud a proč vznikají tyto tlaky škodící vědě. Základní problém zřejmě spočívá v celkovém pojetí vědy, jehož možnosti naznačuje již motto tohoto příspěvku. Z hlediska laiků význam vědy spočívá v bezprostředních aplikacích, vědci sami si však uvědomují širší souvislosti, včetně obecných kulturních aspektů své práce. Obecné povědomí o možném strategickém významu nových vědeckých poznatků vždy do jisté míry posilovalo benevolenci společnosti vůči vědě. Je však patrné, že např. po skončení studené války značně zesílily pragmatické ekonomické pohledy na úkoly vědy. U nás se navíc připojuje zakořeněná nedůvěra v demokratický systém. Ta posiluje podezření, že vědci by tvůrčí svobodu zneužili ke svému prospěchu, místo aby ji vedli k užitku společnosti. Odtud pramení nechuť svěřit řízení vědy akademickým orgánům, které byly demokraticky zvoleny a fungují v Akademii věd i na vysokých školách, a snaha podrobit je diktátu úředníků sloužících politickým zájmům svých stran nebo ekonomickým zájmům lobbistických kruhů. Takto dosazení poručníci ovšem nemají schopnost chápat problémy resortu, který mají řídit. Nezbývá jim tedy jiná možnost, než obdivovat „císařovy nové šaty“ a přidržovat se zdánlivé berličky, kterou jim nabízí ;.

Poděkování:
Tato studie vznikla v rámci Výzkumného záměru AV0Z10030501. 
This research has made use of NASA's Astrophysical Data System.

Literatura:
Ph. Campbell: Escape from the impact factor, Ethics Sci. Environ. Polit. 8 (2008), 5
E. Garfield: Citation indexes for science - new dimension in documentation through association of ideas, Science 122 (1955), 468
E. Garfield: Citation analysis as aa tool in journal evaluation, Science 178 (1972), 471
Journals under threat“ a joint response from history of science, technology, and medicine editors, Notes & Rec. R. Soc. 63 (2009), 1; Science in Context 22 (2009), 1; Jour. for the Hist. of Astron. 40 (2009), v; etc.
D. Hicks:  The dangers of partial bibliometric evaluation in the social sciences, Economia Politica 23 (2006), 145 
J. E. Hirsch:  An index to quantify an individual's scientific research output, Proc. Nat. Acad. Sci. USA 102 (2005), 16569
Hrozba časopisům: společná odpověď editorů z dějin vědy,  techniky a medicíny, DVT XLII (2/2009), 112
K. P. Liessmann: Teorie nevzdělanosti, Academia, Praha 2008
Q. Schiermeier: Czech researchers angry over goverment changes, Nature 460 (2009), 157 
F. Schiller: Píseň o zvonu a jiné básně,  přeložil J. Vrchlický, J. Otto, Praha 1924 
Vitruvius: Deset knih o architektuře,  přeložil A. Otoupalík, Svoboda, Praha 1979

Key words: scientometry, evaluation, science policy

On scientometric evaluation in science and humanities
The rating of scientific journals by means of scientometric criteria was recently criticized and refused in common editorial of journals dealing with the history and philosophy of science, technology and medicine. The analogous practice of evaluation of individuals and institutions in science and humanities is discussed in the present contribution. It is concluded that such a methodology is often missleading in many  respects. Its application to a strightforward decission about financial  support of science promoted now in Czech Republic has fatal consequences and must be strongly opposed.

Recenzoval / Reviewed by				Author's address
				                                    Petr Hadrava
							Astronomický ústav AV ČR, v.v.i.
							Boční II 1401, 141 31 Praha 4