Cum evaluăm cercetarea în Republica Moldova?

Opinile evidențiate în acest articol aparțin exclusiv autorului. Aceste opinii nu reflectă pozitia postului Publika TV sau a siteului Publika.MD.
sursa: http://aea365.org/

Centrul pentru finanţarea cercetărilor fundamentale şi aplicative al Academiei de Ştiinţe a Moldovei (CFCFA) a lansat recent o dezbatere publică privind evaluarea activităţii de cercetare-dezvoltare, propunând un set de indicatori / criterii de evaluare. Întrucât CFCFA a solicitat implicare si venirea cu critici si sugestii, îmi exprim în continuare poziţia mea faţă de acest document:

  1. Orice evaluare trebuie să fie adaptată scopului. Din documentul CFCFA nu este foarte clar pentru ce vor fi utilizaţi indicatorii şi care sunt consecinţele aplicării acestora (în introducere este indicat că va fi folosit la evaluarea cercetătorilor individuali şi a proiectelor, iar la final este indicat – că la evaluarea proiectelor pentru raportarea punctajului acumulat la volumul fondurilor alocate per proiect). Consider că este necesar de stabilit foarte precis scopul evaluării şi apoi de selectat indicatorii cei mai relevanţi. Altfel se pot propune foarte mulţi indicatori folosiţi în lume, dar care nu vor avea relevanţă.
  2. Dacă se doreşte şi evaluarea cercetătorilor individuali şi cea a proiectelor, atunci cred că indicatorii ar trebui clar separaţi, deoarece scopul diferă. În cazul proiectului evaluarea trebuie să se facă, în primul rând, prin raportare la obiectivele stabilite (atunci când a fost aprobată finanţarea lui) şi, deci să se axeze pe rezultatele ştiinţifice. Altfel, există pericolul să nu se urmărească strict efectuarea cercetărilor în cadrul proiectului, ci să „se alerge” după indicatorii care dau cel mai mare punctaj. În acest context, cred că ar fi mai util de evaluat eficienţa diferitor tipuri de proiecte/concursuri, pentru care să fie elaborate criterii/indicatori specifici.
  3. În cazul cercetătorului individual evaluarea ar trebui să includă toate activităţile relevante pentru un cercetător ştiinţific. Asta stipulează şi Carta Europeană a Cercetătorilor şi Codul de Conduită pentru Selecţia Cercetătorilor – procedura de evaluare şi apreciere a cercetătorilor„trebuie să fie globală şi să ia în considerare atât creativitatea cât şi rezultatele cercetării, de exemplu publicaţiile, brevetele, managementul cercetării, implicarea în învăţământ, supervizare, îndrumare, colaborările naţionale sau internaţionale, sarcinile administrative, activităţi de popularizare a ştiinţei şi mobilitate, în contextul progresului în carieră.”
  4. Dacă se decide ca evaluarea proiectelor să fie suma evaluărilor individuale, atunci se vor lua în consideraţie în primul rând rezultatele activităţii de cercetare.
  5. În document nu este stipulat dacă vor fi utilizate standarde de performanţă (ex., un prag minim de punctaj pentru atestarea individuală a cercetătorilor). Totodată, nu este indicat un plafon pentru un anumit indicator (ex., numărul punctajului pe care îl putem obţine la conferinţe naţionale nu este limitat). O abordare sistemică însă ar presupune descrierea întregului proces de evaluare, nu doar propunerea unor indicatori separaţi.
  6. Indicatorii utilizaţi la evaluarea individuală trebuie să reflecte rezultate a căror valoare a fost confirmată în mediul ştiinţific. În cazul Republicii Moldova, cu o comunitate ştiinţifică mică, factor ce limitează obiectivitatea evaluării colegiale, valoarea este confirmată, în primul rând, de către experţi externi (reviste în baze de date internaţionale, brevete la principalele oficii din lume etc.). Rezultatele ştiinţifice strict locale pot fi mai uşor distorsionate şi deci pot fi subiective. În acest context, de ex. valoarea rezultatelor de la indicatorii 6.4 şi 6.6 practic nu este confirmată în nici-un fel. De aceea, punctajul acordat rezultatelor locale trebuie redus la minimum.
  7. Ponderea acordată diferitor indicatori ar trebui să reflecte valoarea rezultatelor respective. Din acest punct de vedere, consider că raportul stabilit în sistemul de indicatori propuşi de CFCFA nu corespunde valorilor relative ale diferitor rezultate şi nu este clara motivaţia lor. Spre exemplu, pentru o publicaţie în revistă cu impact (ISI) se acordă punctaj asemănător ca şi pentru un capitol într-o monografie (ediţie naţională), pentru un conducător al echipei din Moldova doar înregistrat la concurs PC7 sau pentru fonduri relativ modeste atrase, dar mai puţin de aproape 3 ori decât pentru a fi conducător de proiect bilateral (care nu este un rezultat ştiinţific). Deoarece evaluarea are un important aspect motivaţional, cercetătorii (echipele proiectelor) se vor orienta spre producerea indicatorilor cu diferenţa cea mai mare între punctajul acordat şi efortul necesar. Întrucât efortul şi timpul pentru a publica un articol în revistă cu impact este mult mai mare decât obţinerea altor rezultate, cercetătorii ar putea prefera (pentru obţinerea aceluiaşi punctaj) să publice 1 capitol în monografie (ediţie naţională),  să prezinte 3-5 comunicări la conferinţe locale sau să publice 5 articole în orice revistă naţională (publicarea în multe din care fiind un proces formal).
  8. Neconcordonaţe între valoare şi punctaj vor fi exemplificate în continuare la diferite tipuri de indicatori propusi. În condiţiile păstrării acestora există riscul ca proiectele ştiinţifice să fie orientate spre activităţi mai puţin relevante şi spre publicarea rezultatelor la nivel local, ştiut fiind faptul că multe din ediţiile locale permit publicarea unor materiale fără valoare şi relevanţă, publicarea aceloraşi materiale de mai multe ori, plagiatul altor lucrări şi alte fraude ştiinţifice. În acest sens, consider că sistemul de indicatori şi utilizarea lui în evaluare ar trebui clar să motiveze cercetătorii să publice în ediţiile internaţionale recunoscute şi să aplice cereri de brevete la oficiile cele mai importante din lume (EPO, USPTO şi JPO).
  9. La indicatorii ce se referă la publicaţii ştiinţifice consider că punctajul ar trebui împărţit la numărul de autori. Totodată, punctajul acordat monografiilor este mult prea mare în comparaţie cu cel pentru articole în reviste cu impact. Articolul în reviste este produsul de bază al cercetării şi al progresului ştiinţific cel puţin în ştiinţele exacte şi naturale. Revistele ISI (şi SCOPUS) sunt sursa cea mai credibilă atunci când se apreciază rezultatele ştiinţifice a unui cercetător, instituţii, ţări, iar sistemul de indicatori din RM ar trebui să reflecte acest lucru şi să stimuleze publicarea în acestea (o măsură stimulatorie care ar putea da efect ar fi stabilirea unui raport de 100 la 1 pentru articole publicate în reviste ISI/SCOPUS la celelalte reviste). Foarte multe neclarităţi generează indicatorul 1.6. Articole în reviste științifice fără factor de impact, deoarece nu face nicio diferenţiere între aceste reviste. În primul rând, nu se ia în calcul că în Republica Moldova sunt 3 categorii de reviste ştiinţifice recunoscute şi mai sunt reviste care nu au acest statut. În plus revistele de peste hotare, care nu se regăsesc în lista ISI, sunt foarte diferite din punct de vedere al calităţii. Există reviste importante în alte baze de date. Indicatorul însă nu stabileşte nicio cerinţă pentru lucrările publicate în reviste din alte ţări, inclusiv ţări în curs de dezvoltare, în care publicarea nu garantează niciun fel de valoare sau relevanţă a lucrării. Aşa că un cercetător ar putea prefera să publice 5 articole în ţări ca Turkmenistan, Kârgâstan etc. sau în revistele unor universităţi de la noi (ex., Taraclia, Comrat) decât să facă efort să fie în pas cu ştiinţa adevărată.
  10. La indicatorii ce se referă la obiectele de proprietate intelectuală la fel consider că brevetele eliberate peste hotare ar trebui să fie punctate mai înalt, dar nu toate. Propunem acordarea unui punctaj diferit pentru brevetele înregistrate la principalele oficii din lume (USPTO, EPO, JPO) faţă de brevetele din alte ţări. Deoarece un brevet indică doar noutatea ştiinţifică, valoarea de piaţă a tehnologiei brevetate poate fi sugerată,  indirect, de locul brevetării. În acest sens, costul ridicat al brevetării la oficiile indicate motivează brevetarea doar a inventiilor de valoare.
  11.  Indicatorii fonduri nebugetare atrase în cercetare – nu este foarte motivată includerea acestora pentru evaluarea unui proiect. Consider că indicatorii trebuie să reflecte rezultatele ştiinţifice şi nu resursele şi mijloacele care au doar potenţial de a duce la rezultate. Cum procedăm daca resursele atrase nu au dus la rezultate? În plus, atragerea de fonduri în mărime de 100 mii lei (sumă relativ modestă) echivalează cu publicarea unui articol în revistă cu factor de impact, ceea ce la fel orientează mai mult spre atragerea banilor decât spre efectuarea cercetărilor. Consider că aceşti indicatori pot fi utilizaţi doar la evaluarea capacităţii manageriale şi e aplicabilă în primul rând conducătorilor din sfera stiintei si inovarii.
  12. Indicatorii activităţii de pregătire a cadrelor în cadrul temei proiectului la fel sunt discutabili din considerentele că nu reflectă rezultate ale activităţii curente de cercetare şi oricum rezultatele activităţii respective se regăsesc sub formă de publicaţii sau alţi indicatori. Acest fapt este accentuat şi de faptul că în Republica Moldova nu există sistemul proiectelor doctorale, iar finanţări suplimentare pentru angajarea doctoranzilor nu se acordă. În plus, nu este clar dacă  se acordă punctaj atunci când teza susţinută nu se încadrează în tematica proiectului, iar conducătorul sau competitorul sunt membri ai echipei proiectului. Consider că aceşti indicatori ar trebui utlizaţi doar la evaluarea proiectelor instituţionale (cu o perioadă suficientă de timp pentru a pregăti o teză).
  13. La indicatorii colaborărilor, ca şi în alte cazuri, nu este specificat dacă se referă la evaluarea individuală şi/sau cea a proiectelor. Dacă se referă la proiecte – el nu este un rezultat ştiinţific, iar dacă se referă la evaluarea cercetătorului individual – nu este clar de ce este indicat doar conducătorul de proiect, dar nu şi alţi executori. În plus, în raport cu rezultatele cercetării reflectate în articole din reviste cu factor de impact, valoarea indicatorilor este prea mare şi poate orienta activitatea la scrierea de proiecte. Subliniem încă o dată că performanţa trebuie măsurată prin efecte, nu prin eforturi.
  14. La indicatorii participării la evenimente ştiinţifice cred că ar trebui făcută o diferenţiere mai pronunţată între diferite tipuri de evenimente. De exemplu, termenul “conferinţe internaţionale” poate include o varietate mare de evenimente. Există conferinţe internaţionale de specialitate, organizate de societăţi internaţionale sau europene în domeniu, dar există şi conferinţe internaţionale în Republica Moldova la care sunt prezenţi doar câţiva participanţi din ţările vecine, nefiind asigurată evaluarea obiectivă a lucrărilor. De aceea aceste evenimente nu pot fi punctate în acelaşi mod, deoarece aceasta ar echivala, spre exemplu, participarea cu 3 postere la o conferinţă internaţională din Republica Moldova cu o comunicare orală la un Congres al unei societăţi ştiinţifice internaţionale. O alternativă ar fi luarea în calcul a lucrărilor conferinţelor incluse în baze de date internaţionale. Şi mai puţin adecvată este cuantificarea unor evenimente ştiinţifice strict locale, la care lipseşte un process de peer-review a lucrărilor, deoarece aceasta ar putea duce la organizarea unor conferinţe locale de către fiecare instituţie.
  15. Indicatorii pentru evaluare ar trebui să ţină seama de tipul de cercetare-dezvoltare desfăşurată şi de tipurile de proiecte ştiinţifice care se derulează în Republica Moldova. Pentru cercetarea fundamentală accentul ar trebui pus pe publicaţiile ştiinţifice, iar pentru cercetarea aplicativa – pe brevetele de invenţie şi elaborări.  De asemenea, nu ar trebui utilizaţi aceiaşi indicatori pentru, ex. proiecte tineri cercetători şi pentru proiecte de procurare a echipamentului, deoarece probabil au obiective diferite (iaraşi, trebuie mai întâi să vedem obiectivele fiecărui tip de program şi apoi să stabilim indicatori de rezultat, evaluare, monitorizare etc.)
  16. Indicatorii pentru evaluare ar trebui să ţină seama de domeniul ştiinţific în care activează cercetătorii sau în care se desfăşoară proiectul. Există deosebiri, în primul rând, în evaluarea ştiinţelor umanistice şi arte. Spre deosebire de alte domenii, aici monografiile trebuie cotate înalt, la fel ar trebui luate în consideraţie şi recenziile. Totodată revistele cu factor de impact (ISI) nu acoperă bine unele domenii ştiinţifice, în special cele cu specific naţional. De aceea ar trebui luate în consideraţie şi punctate adecvat şi articolele din alte baze de date şi publicaţii naţionale pentru acest domeniu. La fel, în informatica şi în unele specialităţi inginereşti conferinţele au un rol important în publicarea rezultatelor, spre deosebire de alte specialităţi din ştiinţele naturii, în care revistele joacă cel mai important rol. Nu este argumentată ştiinţific construirea de ierarhii ale cercetătorilor / proiectelor din diferite domenii /tipuri de proiecte pe o grilă comună de evaluare.
  17. Este necesar de introdus în evaluări citările, dar şi indicatorii webometrici (vezi articolul Evaluarea ştiinţei moderne: cu -metrii vechi şi /sau noi?). Acestea reprezintă în prezent  indicatori clari ai impactului cercetării.
  18. Nu este clar cum se vor colecta şi verifica indicatorii stipulaţi. O soluţie în acest sens ar fi dezvoltarea instrumentelor informatice ale IDSI, pentru a oferi date ale rezultatelor cercetătorilor efectuate din surse publice. Spre ex., Instrumentul bibliometric national ar putea oferi acces direct la sursa publicării, servind pentru verificarea aleatorie a datelor. Ar putea fi examinată şi posibilitatea ca fiecare cercetător să întreţină informaţiile care îl privesc.
  19. Este utilă luarea în considerare a bunelor practici internaţionale în domeniul evaluării cercetărilor. Indicatorii trebuie să fie compatibili cu cel internaţionali, şi în special cu cei utilizaţi în Spaţiul European de Cercetare. În acest scop sunt necesare studii pentru stabilirea indicatorilor, după ce vor fi stabilite clar obiectivele evaluării şi sarcinile eventualei cercetări.
  20. Evaluarea individuală a cercetătorilor (laboratoarelor) / a proiectelor (programelor) trebuie privită în complex, nu doar indicatorii, ci şi modul şi procedurile de efectuare, actorii implicaţi, standardele de performanţă, generarea şi verificarea datelor, consecinţele evaluării.

    evaluation

    sursa: http://aea365.org/

  21. Indicatorii de evaluare ar trebui să fie corelaţi cu indicatorii utilizaţi în prezent de către CNAA, pentru a evita eforturi suplimentare din partea cercetătorilor. Ar trebui de ţinut seama de indicatorii deja elaboraţi în domeniul în Republica Moldova (ex., proiectul Regulamentului cadru de atestare a cercetătorilor, elaborat la CNAA). Totodată, consider că indicatorii utilizaţi în prezent de către CNAA cuprind mai complet activităţile care trebuie evaluate conform Cartei Europene a Cercetătorilor şi Codului de Conduită pentru Selecţia Cercetătorilor spre deosebire de cei propuşi de către CFCFA, care nu includ o serie de activităţi relevante.
  22. În documentul prezentat lipseşte o notă metodologică la aceşti indicatori, care ar explica calcularea fiecărui indicator şi alte detalii de utilizare, precum şi motivele diferenţierii. Din document nu este clar ce fel de indicatori se au în vedere (de evaluare, de rezultat, de monitorizare etc.). La fel trebuie precizat ce înseamnă reviste cu factor de impact ş.a.                                                                              sursa : http://cuciureanul.wordpress.com/

Share and Enjoy !

0Shares
0 0 0

Comentarii