• Norme de avizare metodologica (WORD)
• Anexa 1  - (WORD)
• Anexa 2 -  (WORD)
• Anexa 3 -  (WORD) - SISTEMUL DE EVALUARE A METODELOR PSIHOLOGICE STANDARDIZATE

NORMELE DE AVIZARE A METODELOR ŞI TEHNICILOR DE EVALUARE ŞI ASISTENŢĂ PSIHOLOGICĂ

Capitolul I

Dispoziţii generale

                  Art. 1 (1) Potrivit art. 33 lit. h) din Legea nr. 213/2004 privind exercitarea profesiei de psiholog cu drept de liberă practică, înfiinţarea, organizarea şi funcţionarea Colegiului Psihologilor din România, publicată în M.O., Partea I, nr. 492 din 1 iunie 2004, denumită în continuare lege, Comitetul director al Colegiului Psihologilor din România, denumit în continuare Comitetul director, elaborează normele de avizare a metodelor şi tehnicilor de evaluare şi asistenţă psihologică utilizate de către psihologii cu drept de liberă practică din România.

                  (2) Comisia metodologică constituită în cadrul Comitetului director reprezintă unica autoritate, care, potrivit art. 36 lit. b) din lege, analizează şi apreciază metodele şi tehnicile de evaluare şi asistenţă psihologică.

                  (3) În urma analizării metodelor şi tehnicilor de evaluare şi asistenţă psihologică, Comisia metodologică propune Comitetului director eliberarea sau neeliberarea avizului pentru metodele şi tehnicile de evaluare şi asistenţă psihologică analizate, precum şi modul de utilizare al acestora.

                  (4) Comitetul director eliberează avizul pentru metodele şi tehnicile de evaluare şi asistenţă psihologică în baza propunerii Comisiei metodologice sau o adresă în care sunt menţionate motivele care au stat la baza neacordării avizului.

                  Art. 2 În vederea instituirii şi promovării standardelor de calitate a serviciilor psihologice prestate de către psihologul cu drept de liberă practică, Comitetul director stabileşte prin prezentele norme condiţiile acordării avizului pentru metodele şi tehnicile de evaluare şi asistenţă psihologică utilizate de către psihologii cu drept de liberă practică din România.

                  Art. 3 (1) Avizele eliberate de către Comitetul director sunt solicitate în mod obligatoriu de către  producării sau distribuitorii de metode şi tehnici de evaluare şi asistenţă psihologică, persoane fizice sau juridice, române sau străine, care intenţionează să le introducă pe piaţa românească în vederea comercializării sau utilizării cu titlu gratuit.

                  (2) În desfăşurarea activităţilor profesionale prevăzute de art. 5 din lege, psihologii cu drept de liberă practică utilizează numai metodele şi tehnicile de evaluare şi asistenţă psihologică avizate de către Comitetul director.

                  (3) Evidenţa metodelor şi tehnicilor de evaluare şi asistenţă psihologică este ţinută şi actualizată de către Colegiul Psihologilor din România, prin înscrierea automată a acestora în urma obţinerii avizului în Catalogul metodelor şi tehnicilor de evaluare şi asistenţă psihologică din România.

                  (4) Catalogul metodelor şi tehnicilor de evaluare şi asistenţă psihologică  este un document public, care este publicat de către Comitetul director prin editare anuală.

Capitolul II

Definiţii şi precizări terminologice

                  Art. 4 (1) Normele de avizare a metodelor şi tehnicilor de evaluare şi asistenţă psihologică constau într-un set minim de prescripţii metodologice, explicit formulate, care, adoptate şi respectate atât de către producătorii şi distribuitorii autorizaţi cât şi de către  psihologii cu drept de liberă practică, asigură coerenţă în formularea investigaţiilor şi a concluziilor psiho-diagnostice.

                  (2 ) Metodele şi tehnicile de evaluare psihologică constau în totalitatea demersurilor fundamentate ştiinţific, efectuate în scopul cercetării, investigării unei persoane, grup de persoane sau organizaţii sub aspect psihologic.

                  (3) Metodele şi tehnicile de asistenţă psihologică constau în totalitatea demersurilor fundamentate ştiinţific, efectuate în scopul declarat al ameliorării sau optimizării activităţii psihice a unei persoane, grup de persoane sau organizaţii.

                  (4) Utilizatorul de metode şi tehnici de evaluare şi asistenţă psihologică este psihologul cu drept de liberă practică care a dobândit atestatul de liberă practică în specialităţile de competenţă profesională.

                  (5) Testele psihologice sunt probe sau dispozitive standardizate de extragere a unei secvenţe relevante din comportamentul sau procesările cognitiv-afective ale unei persoane sau grup, fundamentate pe un etalon sau un reper pertinent şi pe o interpretare responsabilă din partea psihologului cu drept de liberă practică specializat.   

                  (6) Producătorul este persoana fizică sau juridică, română sau străină care este deţinătoare a dreptului sau drepturilor de autor, responsabilă cu selecţia, administrarea, cotarea şi comercializarea  metodelor şi tehnicilor de evaluare şi asistenţă psihologică.

                  (7) Distribuitorul autorizat este persoana fizică sau juridică, română sau străină, deţinătoare a drepturilor de distribuţie generală sau pe o anumită piaţă sau segment din piaţa metodelor şi tehnicilor de evaluare şi asistenţă psihologică.

                  (8) Distribuirea pe piaţă constă în acţiunea producătorului sau distribuitorului autorizat de a face disponibil contra cost sau gratuit metode sau tehnici de evaluare şi asistenţă psihologică.

                   (9) Solicitanţii avizului pentru metodele şi tehnicile de evaluare şi asistenţă psihologică sunt producătorii sau distribuitorii autorizaţi, care introduc spre utilizare pe piaţa românească metodele sau tehnicile de evaluare şi asistenţă psihologică, altele decât cele avizate de către Comitetul director şi evidenţiate în Catalogul metodelor şi tehnicilor de evaluare şi asistenţă psihologică. 

                  (10) Piaţa reprezintă cadrul legal reglementat prin prezentele norme precum şi prin celelalte acte normative în vigoare care reglementează activităţile civile şi comerciale, în care activează, pe de o parte, producătorii şi distribuitorii  autorizaţi de metode şi tehnici de evaluare şi asistenţă psihologică, iar pe de altă parte utilizatorii de metode şi tehnici de evaluare şi asistenţă psihologică.

Capitolul III

 Avizarea metodelor şi tehnicilor de evaluare şi asistenţă psihologică

                  Art. 5 (1) În vederea obţinerii avizului pentru metodele şi tehnicile de evaluare şi asistenţă psihologică, solicitanţii acestuia vor depune la secretariatul Comitetului director un dosar pentru fiecare metodă sau tehnică de evaluare sau asistenţă psihologică, pentru care se solicită aviz, cuprinzând următoarele documente:

• a) cerere tip, potrivit anexei nr. 1 la prezentele norme;
• b) actul de identitate al persoanei fizice sau actele de înregistrare ale persoanei juridice, precum şi actul constitutiv al acesteia (în fotocopie, semnată şi ştampilată pentru conformitate cu originalul sau după caz, tradusă şi legalizată);
• c) dovada deţinerii dreptului de autor sau a dreptului de distribuţie asupra metodei sau tehnicii de evaluare şi asistenţă psihologică sau orice dovadă privind întâia aducere la cunoştinţa publicului a metodei sau tehnicii de evaluare sau asistenţă psihologică, însoţită de o declaraţie pe proprie răspundere autentificată (original ori copie legalizată, sau după caz, tradusă şi legalizată);
• d) dovada deţinerii calităţii de producător sau distribuitor autorizat, după caz (original ori copie legalizată sau după caz, tradusă şi legalizată);
• e) dovada rezervării de denumire a metodei sau tehnicii de evaluare sau asistenţă psihologică, după caz (original ori copie legalizată sau după caz, tradusă şi legalizată);
• f) dovada efectuării cercetării de adaptare pe populaţia românească a metodei sau tehnicii de evaluare sau asistenţă psihologică (original ori copie legalizată sau după caz, tradusă şi legalizată);
• g) fundamentarea teoretică a metodei sau tehnicii de evaluare şi asistenţă psihologică (original ori copie legalizată sau după caz, tradusă şi legalizată);
• h) prezentare detaliată a obiectului, scopului şi destinaţiei metodei sau tehnicii de evaluare şi asistenţă psihologică (original ori copie legalizată sau după caz, tradusă şi legalizată);
• i) proiectul privind instrucţiunile de utilizare a metodei sau tehnicii de evaluare şi asistenţă psihologică (original ori copie legalizată sau după caz, tradusă şi legalizată);
• j) lista furnizorilor români de formare profesională continuă care pot oferi pregătire teoretică şi practică pentru utilizarea metodei sau tehnicii de evaluare şi asistenţă psihologică (original, semnată şi ştampilată de către solicitant);
• k) declaraţie de conformitate, potrivit anexei nr. 2 la prezentele norme;
• l) studiul privind satisfacerea criteriilor de apreciere a unei metode sau tehnici de evaluare şi asistenţă psihologică (original ori copie legalizată sau după caz, tradusă şi legalizată);
• m) specialităţile de competenţă şi treptele de specializare în care poate fi utilizată metoda sau tehnica de evaluare sau asistenţă psihologică, potrivit H.G. nr. 788/2005 (original sau tradusă şi legalizată);
• n) bibliografia utilizată în fundamentarea teoretică (original sau fotocopie, semnată de către solicitant);
• o) preţul metodei sau tehnicii de evaluare propus şi recomandat de către producător sau distribuitor, după caz (original);
• p) fotocopie după dovada achitării taxei de avizare preliminară, în cuantumul stabilit de către Consiliul Colegiului Psihologilor din România, denumit în continuare Consiliul;
• q) opis cuprinzând documentele depuse la dosar, semnat şi datat de către solicitant

                  (2) Documentele prevăzute la alin. 1 vor fi prezentate în două exemplare, în dosare sau plicuri securizate, dintre care un exemplar în fotocopie.

                  (3) Comisia Metodologică poate solicita şi alte date sau informaţii suplimentare.

                  Art. 6 În cazul solicitării avizului pentru metodele psihologice standardizate, fundamentarea trebuie să corespundă Sistemului de evaluare a metodelor psihologice standardizate, prezentat în anexa nr. 3 la prezentele norme, elaborat de către Comitetul director .

                  Art. 7 (1) La cererea expresă a solicitantului sau reprezentantului acestuia, Comisia metodologică va putea stabili o dată în vederea susţinerii de către solicitant a cererii de avizare.

                  (2) Cererea solicitantului trebuie formulată până la data atribuirii dosarului de avizare.

                  (3) Orice cerere ulterioară sau încercare de influenţare a membrilor Comisiei metodologice din partea solicitanţilor sau reprezentanţilor acestora, în vederea acordării sau a neacordării avizului pentru metoda sau tehnica de evaluare sau asistenţă psihologică  suspendă de drept procedura de avizare.

                  (4) Acţiunea prevăzută la alin. 3, care este întreprinsă de către un psiholog cu drept de liberă practică constituie abatere disciplinară gravă şi se sancţionează potrivit reglementărilor în vigoare.

                  Art. 8 (1) Secretariatul Comitetului director înregistrează cererile de avizare în ordinea cronologică a depunerii acestora.

                  (2) Secretariatul Comitetului director asigură depozitarea dosarelor de avizare până la data depunerii şi înregistrării lor la Comisia metodologică.

                  (3) De la data înregistrării dosarelor la Comisia metodologică, responsabilitatea privind acestea aparţine în totalitate membrilor comisiei.

                  Art. 9 (1) În termen de maxim 10 zile de la data înregistrării la secretariatul Comitetului director a minim 4(patru) dosare de avizare, Comisia metodologică va stabili data şedinţei de lucru privind recepţia dosarelor de avizare şi atribuirea lor spre analizare membrilor comisiei.

                  (2) Neprezentarea membrilor Comisiei metodologice la lucrările acesteia constituie abatere disciplinară, cu excepţia cazului fortuit sau forţei majore.

                  (3) În cadrul şedinţei de lucru, membrii comisiei fac recepţia dosarelor de avizare înregistrate, precum şi desemnarea  membrilor comisiei care vor analiza dosarele de avizare.

                  (4) Verificarea iniţială a dosarelor constă în verificarea datelor înscrise în opis cu documentele depuse la dosar. Orice inadvertenţă descoperită va fi consemnată în procesul verbal al şedinţei.

                  Art. 10 (1) Procedura de desemnare a membrilor comisiei care vor analiza dosarele de avizare debutează cu inventarierea dosarelor şi stabilirea ordinii de înregistrare.

                  (2) Desemnarea membrilor comisiei este efectuată în ordinea alfabetică a numelor, cu excepţia preşedintelui comisiei care va coordona procedura de avizare.

                  (3) Dosarele de avizare vor fi atribuite în ordinea înregistrării lor la un număr de 2(doi) membri ai comisiei, desemnaţi în ordine alfabetică.

                  (4) Preşedintele comisiei încheie un proces verbal cu privire la recepţia dosarelor de avizare, desemnarea membrilor comisiei, precum şi a altor aspecte privitoare la procedura încheiată.

                  Art. 11 Aducerea la cunoştinţa publică sau destăinuirea de către membrii comisiei pe toată perioada desfăşurării procedurilor de avizare a oricăror date cu privire la conţinutul dosarelor de avizare constituie abatere disciplinară gravă şi se sancţionează potrivit reglementărilor legale în vigoare.

                  Art. 12 (1) După încheierea procedurilor de desemnare a membrilor comisiei privind analizarea dosarelor de avizare a metodei sau tehnicii de evaluare şi asistenţă psihologică, fiecărui membru i se înmânează un exemplar din dosarul de avizare repartizat spre analizare, fapt ce se consemnează în procesul verbal al şedinţei.

                  (2) Membrii comisiei stabilesc prin vot data următoarei şedinţe de lucru, dar nu mai târziu de 20 de zile calendaristice, fapt ce se consemnează în procesul verbal al şedinţei de lucru.

                  (3) La data stabilită pentru următoarea şedinţă de lucru, fiecare membru al comisiei va elabora şi prezenta un raport privind avizarea sau neavizarea metodei sau tehnicii de evaluare sau asistenţă psihologică analizată.

                  (4) După audierea fiecărui raport, membrii comisiei votează în plen propunerea de avizare sau neavizare a metodei sau tehnicii de evaluare sau asistenţă psihologică.

                  (5) Hotărârea membrilor comisiei este luată cu majoritatea voturilor valide. Voturile de abţinere nu sunt considerate valide. Fiecare membru al comisiei este obligat să exprime un vor valid.

                  Art. 13 (1) În cazul în care membrii comisiei nu consideră concludente documentele prezentate, aceştia vor comunica solicitanţilor o adresă prin care se precizează probele, documentele sau alte clarificări pe care aceştia trebuie să le prezinte în completare.

                  (2) Termenul de completare a dosarelor de avizare este stipulat în adresa comunicată solicitantului. Data comunicării  este considerată data poştei.

                  (3) Datele privind completarea dosarului vor fi analizate după procedura descrisă în prima şedinţă a Comisiei metodologice.

                  (4) Neprezentarea în termen a documentelor de completare este echivalentă cu  renunţarea la cererea de avizare.

                  Art 14 (1) Comisia metodologică propune Comitetului director acordarea avizului pentru metoda sau tehnica de evaluare sau asistenţă psihologică analizată sau respingerea cererii de avizare. În baza propunerii înaintate de către Comisia metodologică, Comitetul director hotărăşte eliberarea avizului , conform anexei nr. 4 la prezentele norme sau respingerea cererii de avizare.

                  (2) Termernul de eliberare a avizului pentru metoda sau tehnica de evaluare sau asistenţă psihologică este de 30 de zile de la data înregistrării propunerii de avizare la secretariatul Comitetului director.

                  (3) Adresa de respingere a cererii de avizare a metodei sau tehnicii de evaluare sau asistenţă psihologică va fi comunicată solicitantului în termen de 30 zile de la data înregistrării propunerii de respingere a cererii la secretariatul Comitetului director.

                  (4) Solicitantul de aviz poate contesta respingerea cererii de acordare a avizului în termen de 15 zile de la data comunicării adresei de respingere a cererii.

                  (5) Hotărârea dată în soluţionarea contestaţiei este definitivă. De asemenea, hotărârea Comitetului director, necontestată în termen este considerată acceptată de către solicitanţi.

Capitolul IV

Tipurile de avize

                  Art. 15 (1) În urma analizei efectuate de către membrii comisiei, Comisia metodologică poate propune Comitetului director acordarea a două tipuri de avize:

                  a) aviz pe perioadă nedeterminată;

                  b) aviz temporar, până la încheierea anului calendaristic următor.

                  (2) Comisia metodologică va întocmi o motivare prin care să justifice tipul de aviz dat şi recomandările făcute pentru îmbunătăţirea calităţilor psihometrice ale probelor. De asemenea, vor fi aprobate şi eliberate instrucţiunile de utilizare ale metodei sau tehnicii de evaluare sau asistenţă psihologică.

                  (3) Avizul eliberat pe  perioadă nedeterminată corespunde unei metode sau tehnici de evaluare sau asistenţă psihologică care îndeplineşte toate condiţiile de calitate necesare utilizării de către psihologii cu drept de liberă practică. Metoda sau tehnica de evaluare sau asistenţă psihologică avizată pe perioada nedeterminată este supusă reavizării.

                  (4) Avizul temporar  corespunde unei metode sau tehnici de evaluare sau asistenţă psihologică care îndeplineşte condiţiile minime de calitate necesare utilizării de către psihologii cu drept de liberă practică. Avizul temporar nu este supus reavizării, fiind valabil până la data de 31 decembrie  a anului calendaristic următor.

                  (5) Respingerea cererii de acordare a avizului pentru metoda sau tehnica de evaluare sau asistenţă psihologică corespunde neîndeplinirii condiţiilor minime de calitate necesare utilizării de către psihologii cu drept de liberă practică sau prezentării unor date incomplete.

                  Art. 16 (1) Avizul eliberat de către Comitetul director se rezumă la aria de aplicabilitate specificată în caracteristicile domeniului vizat, şi nu poate fi extins spre alte domenii de activitate fără o avizare prealabilă.

                  (2) Sunt exceptate de la necesitatea obţinerii avizului metodele sau tehnicile de evaluare sau asistenţă psihologică aflate în perioadă de experimentare, ale căror rezultate nu pot fi utilizate în procesul de testare psihologică.

                  (3) Dovada avizării metodei sau tehnicii de evaluare şi asistenţă psihologică o constituie hotărârea Comitetului director.

                  Art. 17 (1) Psihologii cu drept de liberă practică utilizează în desfăşurarea activităţii numai metodele sau tehnicile de evaluare sau asistenţă psihologică avizate în condiţiile prezentelor norme.

                  (2) Încălcarea dispoziţiilor alin. 1 reprezintă abatere disciplinară gravă şi este sancţionată potrivit actelor normative în vigoare.

                  (3) Prezentarea de către orice persoană a unor metode sau tehnici de evaluare sau asistenţă psihologică neavizate de către Comitetul director ca fiind avizate de către acesta se sancţionează potrivit legii penale.

Capitolul V

Dispoziţii finale

                  Art. 18  Prezentele norme reprezintă procedura unică de avizare a metodelor sau tehnicilor de evaluare sau asistenţă psihologică.

                  Art. 19 Prezentele norme au fost adoptate de către Comitetul director în şedinţa din data de 8 iunie 2006, cu respectarea dispoziţiilor legale în vigoare.

Anexa nr. 1

Domnule Preşedinte,

            Subscrisa/Subsemnata/-ul __________________________________________, cu domiciliul în ________________________________________, legitimat/-ă cu ___, seria ___, nr. ____________, CNP:__________________________, în calitate de ____________________ (producător/distribuitor autorizat), reprezentat/-ă prin __________________________________________, în calitate de ________________________________, vă rog să avizaţi metoda sau tehnica de evaluare sau asistenţă psihologică, cu denumirea : ____________________________,

pentru a putea fi utilizat în specialitatea: ____________________________________, de către psihologii cu drept de liberă practică.

În acest scop, potrivit art. 5 din Normele de avizare a metodelor  şi tehnicilor de evaluare şi asistenţă psihologică, anexez la dosar documentele necesare pentru avizare.

Data: ____________                               Semnatura: _____________

Anexa nr. 2

Emitent:______________________________________

Sediul social: __________________________________

Cod de înregistrare fiscală/C.U.I.: __________________

Tel./Fax ______________________________________

DECLARAŢIE DE CONFORMITATE

               Noi, ___________________________________________________________,

                                                             (denumirea completă a persoanei juridice sau persoanei fizice autorizate)

având  certificat de înregistrare/autorizaţie nr. ______/__________________, asiguram, garantam si declarăm pe propria răspundere, conform  prevederilor art. 5 din Hotărârea Guvernului nr. 1.022/2002 privind regimul produselor şi serviciilor care pot pune în pericol viata, sănătatea, securitatea  muncii şi protecţia mediului, că produsul/serviciul ________________________________________________________________________

(denumirea, tipul sau modelul, eventual numărul lotului, seriei şi numărul de exemplare)

la care se referă prezenta declaraţie nu pune în pericol viaţa, sănătatea, securitatea muncii, nu produce un impact negativ asupra mediului şi este în conformitate cu: _____________  

________________________________________________________________________                         (titlul şi/sau numărul şi data publicării documentului/documentelor normativ/normative)

     _________________________                                             ________________________________________________                                              

             (locul şi data emiterii)                                                                               (numele şi prenumele în clar şi ştampila)

Anexa nr. 3

SISTEMUL DE EVALUARE A METODELOR PSIHOLOGICE STANDARDIZATE

GHID PENTRU SOLICITANŢI

Sistemul de evaluare a calităţii unui test cuprinde cinci criterii:

•a)       Baza teoretică şi soliditatea procedurilor de dezvoltare / perfecţionare a testului;

•b)       Calitatea materialelor pentru testare şi claritatea manualului;

•c)        Reguli / etaloane;

•d)       Fidelitatea;

•e)        Validitatea;

Pentru fiecare criteriu a fost întocmit câte un chek-list cu un număr de itemi. Unii itemi (cel puţin câte unul pentru fiecare criteriu) sunt aşa numitele întrebări cheie, care verifică dacă anumite condiţii minimale sunt îndeplinite. Dacă o întrebare cheie este evaluată negativ, evaluarea pentru acel criteriu automat va fi "insuficient". Pentru a spori o interpretare uniformă a itemilor de către evaluatori şi pentru a explica sistemul utilizatorilor de teste şi celor care dezvoltă testele, secţiunile cu comentarii furnizează informaţii detaliate asupra evaluării şi aprecierii itemilor. O dată ce itemii au fost evaluaţi, semnificaţiile finale ("insuficient", "suficient", "bun") pentru cele cinci criterii sunt stabilite prin semnificaţia regulilor de apreciere.

În termenii normelor de avizare a testelor psihologice, dacă la unul din cele cinci criterii proba dobândeşte calificativul « insuficient » nu va fi avizată de către CPR şi nu va fi recomandată spre utilizare psihologilor cu drept de liberă practică.

Dacă o probă primeşte la fiecare criteriu evaluat cel puţin calificativul suficient ea va fi avizată de către Comisia Metodologică şi va fi recomandată spre uz, psihologilor cu drept de liberă practică, după cum urmează :

- proba primeşte aviz definitiv dacă dintre cele cinci criterii evaluate, cel puţin trei sunt evaluate ca fiind « bun », celelalte primind calificativul suficient. Între criteriile care obţin calificativul bun trebuie neapărat să se regăsească criteriul « validităţii » probei respective.

- în toate celelalte situaţii neincluse mai sus, în condiţiile în care o probă va primi cel puţin calificativul suficient la fiecare criteriu evaluat, se va acorda un aviz temporar probelor respective.

Acest document este constituit din două secţiuni. În prima secţiune sunt prezentate întrebările pentru fiecare din cele cinci criterii. În a doua parte sunt descrise explicaţiile generale pentru fiecare criteriu, explicaţiile cu referire la fiecare item şi regulile de combinare a itemilor evaluativi (pentru a se obţine evaluarea pentru fiecare criteriu).

CRITERII ŞI LISTA DE ÎNTREBĂRI

1.Bazele teoretice ale testului

1.1       Întrebare cheie: Sunt specificate scopurile şi domeniile de aplicare ale testului? (dacă evaluarea acestui item este negativă, se trece direct la itemul 2.1)

1.2       Este descris motivul care a stat la baza construirii testului şi conceptele pe care testul le măsoară sunt clar definite?

1.3       Relevanţa conţinutului testului este justificată faţă de conceptele măsurate?

2.Calitatea materialelor de testare şi a manualului testului

2A.      Materialele testului

2.1.      Întrebare cheie: Sunt standardizaţi itemii?

2.2.a.   Întrebare cheie: Există un sistem obiectiv de scorare? sau

2.2.b.   Există specificat un sistem clar şi complet pentru evaluare sau examinare în cazul în care testul trebuie să fie scorat de către evaluatori sau examinatori?

2.3.      Întrebare cheie: Itemii testului au un conţinut fără specificaţii rasiste sau alte menţiuni ofensive pentru anumite categorii de oameni? (Dacă evaluarea unuia din itemii prezentaţi mai sus este negativă se trece la itemul 2.7)

2.4.a.   Itemii, broşura testului, scalele de răspuns şi foile de răspuns sunt în aşa fel încât erorile de completare să fie evitate?

2.4.b.   Care este calitatea materialelor folosite pentru testare?

2.5.      Sistemul de scorare este gândit în aşa fel încât erorile să fie evitate?

2.6.      Instrucţiunile pentru cel care primeşte testul sunt complete şi clare?

2B.      Manualul testului

2.7.      Întrebare cheie: Este disponibil manualul testului? (dacă evaluarea la acest item este negativă se trece la itemul 3.1)

2.8.      Instrucţiunile pentru cel care administrează testul sunt complete şi clare?

2.9.      Este specificat în ce gen de situaţii poate fi aplicat testul şi care sunt limitele testului?

2.10.    Există publicat în manual un rezumat al cercetării?

2.11.    Este ilustrat (de exemplu, prin menţionarea câtorva cazuri ) modul în care scorurile testului ar putea fi interpretate?

2.12.    Este indicat ce tip de informaţii sunt importante pentru interpretarea scorurilor testului?

2.13.    Este specificat ce calificări profesionale sunt cerute pentru a administra şi interpreta testul?

3.Etaloanele

3.1.      Întrebare cheie: Etaloanele sunt prevăzute (incluzând tabelele şi scorurile fixate)

3.2.      Întrebare cheie: Care este calitatea datelor standard şi a studiului de etalonare?

3.3.      Este indicat pentru care alte categorii de grupuri, etaloanele pot fi generalizate, şi dacă da, sunt menţionate marjele de eroare?

3.4.      Sunt explicate semnificaţia şi limitele tipului de scală sau scorurilor care sunt folosite şi scala se dovedeşte a fi compatibilă cu scopul stabilit al testului?

3.5.      Există informaţii despre medii, abateri standard şi distribuţia scorurilor?

3.6.      Există informaţii despre erorile standard de măsurare şi/sau erorile standard de estimare a intervalului de încredere adecvat al măsurării?

3.7.      Există informaţii despre posibilele diferenţe dintre subgrupuri (de exemplu, referitoare la sexul subiecţilor sau apartenenţa etnică)?

3.8.      Este raportat anul în care au fost colectate datele pentru fiecare grup în vederea etalonării?

4.Fidelitatea

• 4.1. Întrebare cheie: Există informaţii referitoare la fidelitatea testului? (dacă evaluarea itemului este negativă se trece la itemul 5.1)

4.2.      Rezultatele din cadrul studierii fidelităţii sunt suficiente raportat la tipul deciziilor pe care se bazează testul?

• a. Fidelitatea formelor paralele
• b. Consistenţa internă
• c. Fidelitatea test-retest
• d. Fidelitatea inter-evaluatori
• 4.3 Care este calitatea investigării fidelităţii?
• a. Sunt corecte procedurile de calculare a coeficienţilor fidelităţii?
• b. Sunt compatibile eşantioanele pentru calcularea coeficienţilor fidelităţii cu scopul stabilit al testului?
• c. Este posibil să se realizeze o judecată completă a fidelităţii testului pe baza informaţiilor date?

5.Validitatea

5.A.     Validitatea de construct

• 5.1.Întrebare cheie: Există informaţii referitoare la validitatea de construct a testului? (Dacă evaluarea la acest item este negativă se trece la itemul 5.4).
• 5.2.Rezultatele privind sudierea validităţii susţin semnificaţia propusă a conceptelor (sau: Rezultatele privind studierea validităţii arată clar ceea ce este măsurat)?
• 5.3.Care este calitatea studiilor de validare a constructului (constructelor) măsurate?
• a. Procedurile folosite pentru obţinerea şi calcularea datelor privind validitatea de construct sunt corecte?
• b. Eşantioanele folosite în studierea validităţii de construct sunt compatibile cu scopul stabilit al testului?
• c. Care este calitatea altor instrumente folosite în studierea validităţii de construct?
• d. Este posibilă luarea unei hotărâri corecte privind validitatea de construct a testului pe baza informaţiilor date?

5B.      Validitatea relativă la criteriu

• 5.4.Întrebare cheie: Există informaţii despre relaţia test - criteriu? (Dacă evaluarea la acest item este negativă, itemii 5.5 şi 5.6 pot fi săriţi).
• 5.5.Rezultatele din cadrul studierii validităţii sunt suficiente în ceea ce priveşte tipul deciziilor pentru care a fost propus testul?
• 5.6.Care este calitatea studiului validităţii de criteriu?
• a. Procedurile folosite pentru obţinerea şi calcularea datelor privind criteriul validităţii sunt corecte?
• b. Eşantioanele folosite în studierea validităţii de criteriu sunt compatibile cu scopul stabilit al testului?
• c. Care este calitatea studiului validităţii de criteriu (predictivă)?
• d. Este posibilă luarea unei hotărâri corecte privind validitatea de criteriu a testului pe baza informaţiilor date?

•II.                EXPLICAŢII ŞI REGULI DE APRECIERE

•1.      Bazele teoretice ale testului

Explicaţii generale

Construcţia testului solicită o pregătire amănunţită. În cele din urmă, scorurile testului constituie temeiul în care se elaborează judecăţi referitoare la diferenţele intra-individuale (în cadrul unor contexte precum sistemul educaţional şi consilierea vocaţională), diferenţele inter-individuale (de exemplu, în selecţia personalului), şi diferenţele între grupuri sau situaţii (precum cele din diagnozele organizaţionale). Informaţiile asigurate de autorul testului ar trebui să permită viitorului utilizator al testului să discearnă dacă testul este potrivit pentru scopul pe care îl urmăreşte. Pornind de la aceasta, primul pas constă în a furniza o descriere clară a conceptului teoretic pe care testul îşi propune să-l măsoare. Alegerea conţinutului testului şi metodele prin care un concept este măsurat ar trebui de asemenea, luate în considerare. Aceste aspecte depind doar de viabilitatea teoriei şi minuţiozitatea descrierii ipotezelor de bază. Problema cu referire la elaborarea cu succes a testului ca o construcţie demnă de încredere şi validă sunt luate în considerare în cadrul criteriilor 3, 4, 5 focalizate pe calitatea şi rezultatele cercetării.

Explicaţii / recomandări (explicaţii) pentru fiecare item

Itemul 1.1        Construcţia testului ar trebui să înceapă cu o reflectie asupra scopului testului. Scopul este de a prezice anumite comportamente (predictiv) ? Are intenţia de a evalua progresul educaţional sau efectele unui training (monitorizare)? Este utilizat pentru a aprecia potrivirea pentru un anumit tip de tratament (diagnostic) etc.?

Este de asemenea esenţial să se menţioneze grupul sau grupurile pentru care este realizat testul, detaliind aspecte precum vârsta grupului, ocupaţia, nivelul studiilor şi dacă este vorba de un context luat în considerare este normal sau clinic. Cu cât sunt mai ambiţioase scopurile autorului testului, cu atât mai mari sunt obligaţiile sale de a arăta date empirice precum etaloane şi dovada validităţii instrumentului.

Itemul 1.2        Autorul testului ar trebui să clarifice dacă testul reflectă o teorie existentă sau dacă acesta este bazat pe o dezvăluire nouă care poate aduce eventual, schimbări minore sau majore în cadrul altei teorii. Indiferent de teoria pe care se bazează testul, aceasta trebuie descrisă detaliat. Dacă testul este o traducere sau adaptare a unui instrument străin, trebuie asigurată o informaţie de fond suficientă, o listă de referinţe nefiind suficientă. Chiar şi atunci când testul îşi propune să măsoare constructe foarte cunoscute precum inteligenţa, de exemplu, o definiţie a conceptului trebuie dată pentru a se lămuri ce aspecte ale comportamentului aparţin domeniului respectiv. De asemenea, trebuie descrise şi anumite asemănări sau diferenţe cu teste similare. Din această prezentare, valoarea adăugată a noului instrument ar trebui să fie evidentă.

Itemul 1.3        Această întrebare se referă la paşii prin care conceptul ce se măsoară este operaţionalizat. Definirea ariei de conţinut trebuie să facă posibil a se stabili care itemi aparţin domeniului şi care nu. Acest aspect poate fi realizat prin analizarea conceptului într-un mod care să clarifice care din faţete este luată în considerare. Consideraţiile teoretice sau conţinuturile asociate pentru greutatea acordată acestor faţete ar trebui şi ele consemnate, şi problema itemilor luaţi în considerare pentru eşantionare ar trebui menţionată. Chiar dacă itemii sunt eliminaţi sau modificaţi în cursul construirii sau adaptării testului, consecinţele acestor schimbări pentru măsurarea conceptului original trebuie indicat (domeniul conţinut poate fi schimbat, îngustat sau incomplet acoperit ca rezultat al acestor modificări).

•2.      Calitatea materialelor pentru testare şi a manualului testului

Explicaţii generale

Scorul la un test poate fi interpretat ca o măsură de încredere dacă testul este administrat în condiţii standardizate. Scopul standadizării situaţiei de testare este să se preîntâmpine apariţa unor factori necontrolaţi care să afecteze scorul. De exemplu, administrarea şi instruirea ar trebui să fie standardizate într-o asemenea măsură încât influenţa administratorului de test şi a variaţiilor în instrucţiuni să fie eliminată sau minimizată.

Explicaţii / recomandări pentru fiecare item (Criteriul 2A)

Itemul 2.1        Itemii testului sunt standardizaţi atunci când ei sunt aceeaşi pentru fiecare respondent din punct de vedere al conţinutului, formei şi succesiune. Standardizarea este o condiţie importantă pentru interpretarea şi compararea scorurilor. O excepţie, care ţine de cerinţa unei succesiuni uniforme a itemilor testului este acceptată în cazul testelor adaptive. Totuşi, şi pentru acest tip de test, regulile de stabilire a selecţiei oricăruia dintre itemi trebuie redate explicit.

Itemul 2.2.a     Un sistem de scorare este considerat obiectiv atunci când valoarea scorului acordată pentru toate posibilele răspunsuri la toţi itemii testului sunt stabilite în aşa mod, încât orice persoană calificată care scorează itemii, cu excepţia erorilor de redactare, acordă exact acelaşi scor pentru acelaşi răspuns. Acest aspect este aplicabil în mod particular in cazul testelor de abilitate, creion - hârtie şi chestionarelor cu itemi cu alegere multiplă.

Itemul 2.2.b     Pentru scalele de observare, testele proiective, subtestele bateriei individuale de inteligenţă şi întrebările cu răspunsuri deschise, cotarea nu poate fi strict obiectivă. Pot fi descrise însă dovezile care asigură un nivel cât mai ridicat de obiectivitate în cotare.

Itemul 2.3        Conţinutul unui test este calificat drept rasist dacă conţine cuvinte, fraze, imagini sau alte elemente folosite în itemi sau instrucţiuni aduceau ofense membrilor unuia sau mai multor grupuri etnice minoritare. Conţinutul unui test este calificat drept ca discriminatoriu din punct de vedere al grupurilor etnice, atunci când testul conţine cuvinte, idiomuri sau imagini complicate cu specific cultural. Principiul utilizării restricţionate poate fi aplicat la fel de bine şi altor grupuri. Un exemplu, este un inventar de interese care conţine imagini cu itemi-stereotipi legaţi de sexul personajelor. Acest principiu nu se aplică testelor care sunt destinate să măsoare concepte raportate la rasism sau sex (aşa cum este Scala F a lui Adorno sau scala pentru androgenie).

Itemul 2.4.a     Concluziile care trebuie avute în vedere în evaluarea acestui item includ: (a) claritatea itemilor sau distribuţiile pentru grupurile pentru care testul este stabilit (majoritatea itemilor nu trebui să treacă dincolo de restricţiile acestor grupuri) şi (b) foile de răspuns, dacă se folosesc, ar trebui realizate într-un mod în care erorile de completare (cum ar fi sărirea peste un item) pot fi detectate rapid.

Itemul 2.4.b     Acest item vizeză toate aspectele practice ale materialelor testului care nu au fost acoperite în totalitate de itemii de la criteriul 2A. Acestea include următoarele consideraţii:

• Itemii sunt formulaţi într-un limbaj obişnuit?
• Testul este clar?
• Pot fi deosebite clar culorile sau simbolurile (dacă se folosesc) unele faţă de altele (chiar şi pentru indivizii daltonişti)?
• Materialele testului sunt durabile?

Itemul 2.5        În evaluarea acestui item, atenţia trebuie acordată următoarelor aspecte:

• Procedura de cotare trebuie descrisă în totalitate şi clar
• Dacă se folosesc grile pentru calcularea scorului, trebuie să existe instrucţiuni clare asupra modului în care se plasează aceste grile deasupra foilor de răspuns.
• Dacă se folosesc grile pentru calcularea scorului, acestea trebuie să se potrivească cu acurateţe peste foile de răspuns.
• Dacă se folosesc grile pentru calcularea scorului, versiunea testului trebuie imprimată pe grilele de corectare. Acesta este, în mod deosebit, important atunci când testul este revizuit.
• Ar trebui să existe instrucţiuni clare pentru scorarea itemilor pierduţi (săriţi).
• Trebuie dată o indicaţie asupra a cât de mulţi itemi pot fi pierduţi fără ca testul să îşi piardă valoarea.
• Dacă sunt implicaţi evaluatori sau observatori, ar trebui să existe instrucţiuni clare despre cum să se facă faţă diferenţelor dintre evaluatori şi observatori,

În general, folosirea de foi de răspuns separate este preferabilă, deoarece în urma scorării unor foi de răspuns vor rezulta mai puţine erori decât scoarea unei broşuri de test.

Itemul 2.6        În acest sistem de evaluare este făcută o distincţie între instrucţiunile pentru cel căruia i se administrează testul şi pentru cel care administrează testul. Calitatea instrucţiunilor pentru cel testat sunt evaluate în acest item; instrucţiunile pentru administratorul testului sunt evaluate în itemul 2.8. Instrucţiunile sau explicaţiile pentru cel testat se găsesc în materialele testului şi de obicei constituie prima sau primele pagini ale broşurii testului sau prima / primele pagini de text atunci când testul este administrat pe computer. Instrucţiunile trebuie să fie standardizate şi ar trebui să includă următoarele elemente:

• unul sau mai multe exemple de întrebări
• informaţii despre cum se înscriu (sau se redactează, în cazul testării computerizate) răspunsurile.
• O strategie de a presupune sau de a răspunde, când alternativele au acelaşi grad de probabilitate sau aplicabilitate.
• Limite de timp

Explicaţii / recomandări per item (Criteriul 2B)

Itemul 2.7        Autorul unui test trebuie să furnizeze un manual care să conţină informaţii practice (numit în mod obişnuit "Ghidul utilizatorului") şi informaţii tehnice (numit în mod obişnuit Manualul tehnic). Dezbaterile,  articolele de revistă sau lucrările de cercetare nu ar trebui privite ca un manual.

Itemul 2.8        Obiectivul principal al recomandărilor pentru administratorul de test în manual este să asigure standardizarea testului. Principiile ar trebui să fie, pe cât de posibil, explicite în descrierea lor, în privinţa a ceea ce are de spus exact administratorul, ce nu trebui să facă sau să spună şi sarcinile pe care acesta trebuie să le îndeplinească (cum ar fi de exemplu, aranjarea materialelor într-o anumită ordine pentru un test de abilitate). O afirmaţie de genul "administratorul testului explică scopul testului celui căruia îi este administrat" este considerată insuficientă. Manualul testului trebui să furnizeze de asemenea, un plan detaliat asupra modului cum să se descurce cu întrebările obişnuite pe care le pot adresa subiecţii testaţi.

Itemul 2.9        Un manual trebuie să fie complet, precis şi clar în privinţa aplicabilităţii testului. Acesta poate ghida către sugestii de utilizare diferită a testului, în funcţie de situaţii sau aplicaţii specifice. Exemple în acest sens ar fi următoarele:

• S-a specificat faptul că deciziile legate de clasificărea educaţionale nu ar trebui luate doar pe baza unui singur scor de test?
• A fost menţionată relaţia dintre scorul testului şi ulterioarele procese de învăţare în cazul evaluării progresului?
• Rezultatele obţinute la un test într-o situaţie clinică pot conduce la concluzii întemeiate empiric sau ele servesc doar ca ipoteze de cercetare?
• S-a evidenţiat faptul că scorurile la un singur test nu ar trebui folosite ca un temei în luarea unor decizii privind consilierea vocaţională?
• În cazul testelor pentru selecţie de personal, au fost indicate categoriile ocupaţionale pentru care testul a fost destinat şi specificate capacităţile semnificative pentru aceste ocupaţii?

Itemul 2.10      Pentru utilizatorii de teste, manualul va constitui principala sursă de informaţii, deoarece mulţi dintre aceştia nu vor avea acces a dezbateri, raporturi de cercetare sau alte materiale publicate şi nu vor avea timp (sau nu vor fi suficient de interesaţi) să citească toate detaliile tehnice. Un sumar al etalonării, studiilor pentru fidelitate şi validitate trebuie aşadar prevăzute în manual. Dacă noi cercetări furnizează informaţii suplimentare folositoare, utilizatorii ar trebui informaţi prin mijloace auxiliare sau revizuiri ale manualului. În acest item doar prezenţa informaţiei în manual este solicitată. Caliatea design-ului de cercetare şi rezultatele sunt evaluate în Criteriile 3, 4 si 5. Dacă acest tip de informaţii nu este publicat în manual, acest item va primi o evaluare negativă.

Itemul 2.11      În general, includerea unui număr de cazuri descriptive în manual ar trebui să ajute utilizatorul testului în interpretarea scorurilor obţinute.

Itemul 2.12      A fost dată vreo indicaţie dacă există alte variabile care contribuie la prediciţie?

Itemul 2.13      Menţiunile privind competenţele utilizatorilor ar trebui să detalieze pregătirea specifică, certificarea profesională sau experienţa necesară.

•3.      Etaloanele

Explicaţii generale

Luat ca atare, rezultatul brut este puţin semnificativ, sau chiar nesemnificativ. În general, scorul brut poate fi înţeles prin raportarea la un etalon. Etalonul poate deriva dintr-o arie de aptitudini sau aspectele stăpânite de subiecţi (la care se referă conţinutul interpretării) sau poate fi bazat pe distribuţia scorurilor prin raportare la un grup (interpretare prin raportarea la un etalon de referinţă). În interpretarea raportată la o tablă de corecţie, rezultatul fiecărui subiect testat este examinat separat, pentru a vedea care răspunsuri sunt corecte şi care sunt greşite. Rezultatele nu sunt comparate cu cele ale altui subiect. Pe de altă parte, în interpretarea bazată pe etalon, compararea cu ceilalţi este principiul de bază al acestui proces. Aici, scorul subiectului testat este comparat cu scorurile altor indivizi care pot fi folosite în comparare (adică, pe baza unor similarităţi de vârstă, studii, profesie, etc). Un etalon, fie într-un caz, fie în celălalt constituie o cerinţă de bază a tuturor testelor. Însă, pot exista excepţii, mai ales în cazurile testelor în care numai interpretarea intra-individuală este recomandată. În asemenea situaţii, întrebarea la acest capitol, nu necesită răspuns şi calificativul "nu este aplicabilă" poate fi utilizat.

Etaloanene sunt susceptibile la degradare. Dintre toate proprietăţile psihometrice ale unui test, etaloanele sunt cele mai sensibile la factori precum schimbări sociale, educaţionale sau profesionale. Prin urmare, fie un test trebuie să fie reetalonat din când în când, fie autorul testului trebui să arate prin mijloace de cercetare că nu este necesară o reetalonare a testului. Pentru a atrage atenţia utilizatorului de teste asupra posibilităţii că etaloanele pot fi depăşite, menţiunea "Etaloanele sunt depăşite." este adăugată la evaluarea testului, dacă datele din etalon sunt completate cu mai mult de 15 ani în urmă. După trecerea altor 5 ani în care nu a fost realizată reetalonarea, menţiunea anterioară se va schimba în "Etaloanele nu mai sunt utilizabile, deoarece sunt depăşite." Aceste specificaţii sunt completate o dată pe an.

Explicaţii / recomandări pentru fiecare item

Itemul 3.1        Etaloanele trebuie să fie valabile la momentul în care testul este publicat pentru uzul actual. Datele de etalonare bazate pe scoruri individuale nu sunt relevante pentru testele proiectate pentru etaloane raportate la evaluările de grup şi viceversa. Etaloanele nu mai pot fi folosite atunci când au fost făcute modificări ale testului, de exemplu în cazul modificărilor de itemi sau instrucţiuni. Transformarea unui test creion-hârtie într-un test computerizat este de obicei puţin influenţată din această perspectivă în cazul scorurilor la chestionare de personalitate, dar în cazul testelor de performanţă, de obicei, noi date de etalonare trebuie adunate. Aceasta mai ales, în cazul în care sunt implicate limite de timp.

Itemul 3.2        Etaloanele de bază trebuie să fie prezentate pentru toate scopurile şi aplicaţiile pentru care testul este recomandat de către autor (vezi itemul 1.1). Poate reieşi faptul că grupurile pentru care etaloanele sunt prezentate să acopere doar o parte din aplicaţiile proiectate. De exemplu, când autorul unui test indică faptul că un test este stabilit atât pentru consilierea vocaţională spre şcolile tehnice, cât şi pentru selecţia pentru meserii tehnice, etalonul ar trebui să fie furnizat pentru ambele situaţii. Totuşi, nu ar fi realist să se solicite etaloane pentru fiecare profesiune tehnică. Un etalon de grup trebuie să îndeplinească anumite cerinţe pentru a atinge scopul său (acesta este de a furniza un set de puncte de referinţă de încredere). În primul rând trebuie să fie reprezentativ pentru grupul de referinţă şi în al doilea rând eşantionul trebuie fie suficient de mare. Pentru a facilita o evaluare a reprezentativităţii eşantionului pentru etalonare, trebuie date o definiţie a populaţiei şi o descriere completă a structurii eşantionului şi a procesului de colectare a datelor. Trebuie să fie evident din descrierea populaţiei avute în vedere, dacă datele sunt colectate local sau naţional, dacă strângerea datelor acoperă media populaţiei sau numai a anumitor indivizi cu calităţi specifice (de exemplu persoane cu probleme mentale sau cu o anumită pregătire şcolară de bază), ce reguli de eşantionare au existat, ş.a.m.d.

Cel mai adesea, datele sunt colectate prin aşa numitele "eşantioane la îndemână". Asemenea eşantion poate consta în clienţii care apelează la un serviciu de consiliere vocaţională, studenţi la psihologie sau pacienţi din centre medicale de psihiatrie, de exemplu. În general, eşantioanele de acest tip oferă un etalon sărac deoarece motivul testării este raportat la scorul testului. De aceea, aceste eşantioane nu pot fi considerate reprezentative pentru populaţia ţintă (care, în exemplele date mai sus, se referă doar la liceeni, studenţi, respectiv persoane cu probleme psihiatrice).

Itemul 3.3        Colectarea datelor pentru etalonare este o procedură costisitoare şi laborioasă, care solicită să nu fie realizată pentru toate grupurile posibile. Etaloanele pentru grupurile cu vârste medii pot fi obţinute prin mijloace de extrapolare sau etaloane care pot fi generalizate pentru profesii sau ocupaţii similare. Autorul testului trebuie să justifice extrapolarea sau generalizarea etaloanelor prin descrierea punctelor critice ale asemănării dintre grupuri (de exemplu, în termeni de conţinut al profesiei sau al educaţiei) sau prin furnizarea de date din cercetare (cum ar fi scorurile la variabile înrudite).

Când vârsta sau clasele etaloanelor sunt furnizate, amplitudinea vârstei şi nivelul intervalului contribuie la erori (bias-uri) în scorurile testului: performanţa este subestimată la începutul intervalului şi supraestimată la sfârşitul acestuia. Testele de abilitate pentru copiii mici sunt, în mod particular, mai vulnerabile la acest efect, cu o variaţie de 10 sau mai multe puncte QI în cadrul unei perioade de un an. Chiar în primii ani ai şcolii generale, diferenţele dintre doi ani consecutivi pot depăşi tot atât de mult, cât jumătate din deviaţia standard. Acest tip de bias poate fi împiedicat prin extinderea listelor de etaloane. Dacă testul este proiectat pentru a fi folosit într-o anumită perioadă a anului, aceasta trebui menţionat clar şi datele pentru etalonare trebuie adunate tot în aceeaşi perioadă. În orice caz, vârsta medie în luni sau perioada anului în care etaloanele sunt colectate trebuie să fie menţionate pentru vârsta şi educaţia la care se raportează etaloanele.

Itemul 3.4        Pentru transformarea scorurilor brute în scoruri standard există un sistem numeros de categorii de scale, din care se poate alege. O alegere poate fi făcută între scorurile standard, percentile şi o scală cu mai multe sau mai puţine unităţi. Pentru o situaţie particulară, autorul testului poate decide să proiecteze un nou sistem sau să adapteze unul existent. Când scopul testului trece sub categoria "important"[1] este indicat să se aleagă un sistem precis cu mai multe unităţi. Totuşi, pentru testele din această categorie este recomandată folosirea intervalului de încredere. A opta pentru un sistem brut, înseamnă a sacrifica precizia, dar pot face rezultatele mai uşor şi rapid de înţeles (ex. apt vs. inapt). Indiferent de sistemul de scală utilizat, ar trebui să fie descrise şi motivele pentru alegerea scalei ar trebui să fie menţionate. 

Itemul 3.5        Aceste date trebuie furnizate pentru fiecare etalon de grup. Aspecte precum boltirea, simetria sau bimodalitatea distribuţiei scorurilor sunt relevante, precum şi diferenţele posibile între aceşti parametri între etaloanele de grup. De exemplu, poate fi cazul în care scorurile la un chestionar sunt mai mult sau mai puţin distribuite normal într-un grup, în timp ce 50% din participanţii dintr-un alt grup obţin scoruri scăzute. Alte informaţii utile ar putea fi existenţa unor efecte de bază sau de plafon („floor and ceiling effects") obţinute într-un test de abilităţi cognitive. Un utilizator de test are nevoie de astfel de informaţii pentru a interpreta corect scorurile la test.

Itemul 3.6        În literatura de specialitate, eroarea standard de măsurare şi eroarea standard estimată nu sunt diferenţiate. Eroarea standard de măsurare dă un interval de încredere care este simetric în jurul scorurilor observate. Această indică faptul că scorurile observate diferă semnificativ de fiecare scor adevărat care se află în acest interval. Formula pentru calcularea erorii standard de măsurare este: sest = sx Ö (1-rxx). Intervalul de încredere este important atunci când este cerută utilizarea semnificaţiei testelor (scorul unei persoane A diferă de scorul persoanei B sau faţă de scorul medie X0 ?). Pe baza acestor erori standard se pot calcula intervalele de încredere ce cuprind cu o probabilitate foarte mare socrul adevărat al subiectului testat. Pentru testele încadrate în categoria "importante", intervalele de probabilitate trebuie să fie prevăzute, pentru a obţine o evaluare pozitivă a acestui item. Dacă este dată doar eroarea standard va fi dată o evaluare ‘+/-'. Pentru teste mai puţin importante, raportarea erorii standard corecte a măsurării este suficientă pentru a se acorda o evaluare pozitivă.

Itemul 3.7        Există diferite motive pentru care diferenţele dintre subgrupuri trebuie studiate şi raportate:

• rezultatele pot indica un impact opus;
• rezultatele pot justifica bias-urile de cercetare raportat la test sau la item;
• utilizatorul testului primeşte date care îi permit să decidă dacă să ia sau nu în considerare posibilele diferenţe;

Aceste studii se aplică doar acolo unde subgrupurile sunt relevante pentru scopul testului, aşa cum sunt grupurile împărţite pe sex, vârstă sau apartenenţa etnică.

Itemul 3.8        Menţionarea anului în care au fost colectate datele pentru etalonare este importantă pentru a decide dacă etaloanele sunt depăşite, şi dacă da, cu cât timp.

•4.      Fidelitatea

Explicaţii generale

Varianţa în scorurile unui test constă în varianţă adevărată şi varianţă eroare. Sursele varianţei eroare pot fi diferite. Numeroşii coeficienţi de fidelitate care pot fi calculaţi reflectă aceste surse în diferite grade. De aceea, nu este posibil să vorbim despre fidelitatea definitivă a unui test: diferitele forme ale fidelităţii sunt deosebite în funcţie de sursa erorii analizată într-un studiu particular. În plus, rezultatele studiului fidelităţii vor diferi în funcţie de caracteristicile grupului studiat (omogenitatea referitoare la constructele măsurate are o puternică influenţă în calcularea coeficienţilor). În practică, coeficientul de fidelitate clasic indică, aşa cum a fost menţionat a itemul 4.2, măsura în care scorurile pot fi generalizate cu privire la formă, itemi, timp şi evaluatori. Fidelitatea unui test este în general studiată folosind metode clasice şi itemii din acest capitol au fost explicaţi în consecinţă. În orice caz, este posibil să se folosească alte modele, de exemplu utilizarea analizei varianţei pentru a estima influenţa diferitelor aspecte la un moment dat.

În general, este menţionată evaluarea doar a unui singur coeficient de fidelitate, deşi testul poate poate furniza diferite scoruri. De exemplu, acesta este cazul chestionarelor de personalitate şi de interese care conţin diferite scale, şi al bateriilor de aptitudini multiple care conţin câteva subteste (chiar dacă sunt administrate independent sau nu). Când scorurile la subteste sunt adunate pentru a obţine un scor total, cum e cazul testelor de inteligenţă, există trei posibile presupuneri:

• Are importanţă numai interpretarea scorului total. În această situaţie numai fidelitatea scorului total este nevoie să fie evaluată.
• Autorul testului afirmă că scorul total este într-adevăr cel mai important, dar că interpretarea scorurilor la subteste este şi ea posibilă. În această situaţie fidelitatea scorurilor la subteste ar trebui evaluată cu un criteriu care are un nivel aflat imediat sub nivelul criteriului aplicat pentru scorul total. De exemplu, dacă scorul total este categorizat ca fiind "important", scorul pentru subteste ar trebui să fie într-o categorie "mai puţin important". În majoritatea cazurilor, scorurile la subteste sunt mai puţin fidele decât scorul total, dar când este aplicată regula de mai sus, evaluările pot fi aceleaşi.
• Autorul testului menţionează că nu este nici o diferenţă a importanţei, între scorurile la subteste şi scorul total. În acest caz, cerinţele pentru ambele tipuri de scoruri sunt aceleaşi.

Când evaluările date pentru coeficienţii de fidelitate ale scorurilor la subteste şi scorul total diferă, acestea ar trebui menţionate într-o notă de subsol, adăugată la evaluare. Este de asemenea important să se noteze că numai o singură evaluare este dată când autorul unui test furnizează coeficienţi de fidelitate pentru mai multe grupuri.

Explicaţii / recomandări pentru fiecare item

Itemul 4.1        Unele tipuri de coeficienţi de fidelitate vor fi în general furnizaţi, dar şi rezultatele studiilor de generalizare pot fi luate în considerare.

Itemul 4.2        Nu pot fi făcute afirmaţii generale despre nivelul dorit al coeficientului de fidelitate, cu toate că un test care este folosit pentru decizii importante este recomandat să aibă o fidelitate cât mai ridicată.

Itemul 4.2.a     Consistenţa internă a diferitelor forme ale testului (forme paralele, de exemplu) poate fi determinată prin tehnici de corelaţie prin compararea între forme şi conţinutului itemului şi (în mod clasic) prin compararea dificultăţilor, mediilor şi varianţei itemului. Corelaţia este o evaluare a fidelităţii ambelor forme ale testului. Fidelitatea testelor paralele poate fi folosită în cazul testelor cu timp impus. Corelaţia dintre două jumătăţi ale testului, formate fie pe baza înjumătăţirii timpului de testare sau împărţirea conţinutului testului, poate fi considerată ca şi fidelitate a testelor paralele. Ulterior poate fi aplicată o corectare a lungimii testului.

Itemul 4.2.b.    Consistenţa internă referitoare la itemii (sau grupurile de itemi) din cadrul unui test este de obicei calculată cu ajutorul coeficientului Alfa - Cronbach. Deoarece coeficientul a este raportat la numărul itemilor, este important să conştientizăm că un număr foarte mare de itemi poate duce la un coeficient de fidelitate crescut, şi în cazurile în care corelaţiile inter-itemi sunt moderate. Din perspectiva zilelor noastre, este nerecomandabil să se folosească clasicii coeficienţi split-half (de înjumătăţire), deoarece rezultatele depind de împărţirea arbitrară a itemilor în jumătăţile testului. Coeficientul de consistenţa internă sau indicele de omogenitate nu sunt utili în cazul testelor de viteză. În asemenea situaţii, alte metode de calculare a fidelităţii se dovedesc a fi utile precum metoda testelor paralele sau metoda test-retest pot fi folosite. Cu toate acestea, multe teste de abilitate au, de asemenea, o limită de timp. Mai ales în cazul în care un procentaj semnificativ din subiecţii testaţi nu au fost capabili să completeze ultimii itemi ai testului, consistenţa internă nu ar trebui calculată automat, deoarece poate rezulta o fidelitate care poate fi supraestimată. În această situaţie, o estimare rezonabilă a fidelităţii poate fi obţinută prin: împărţirea testului în două jumătăţi (de exemplu, itemii pari şi itemii impari), administrarea subtestelor în timpul de testare înjumătăţit, calcularea corelaţiei dintre cele două jumătăţi şi, în final, corectarea corelaţiei luându-se în considerare înjumătăţirea lungimii testului. Când viteza nu este un factor principal (aceasta este atunci când cel puţin 70% din subiecţii testaţi completează ultimul item), poate fi aplicată o formulă de corectare a coeficientului de consistenţă internă. Pentru toate tipurile de teste adaptive sau ajustate, consistenţa internă nu poate fi stabilită fără a se face o diferenţiere. În acest caz, fidelitatea este estimată, folosindu-se regulile diferitelor puncte de întrerupere şi prin calcularea corelaţiilor dintre scorurile obţinute şi variabila criteriu.

Itemul 4.2.c.    Consistenţa internă în timp este estimată prin metode de corelaţie test-retest care sunt calculate pentru administrări repetate ale testului la acelaşi grup. Trebuie fixat intervalul de timp dintre două aplicări, precum şi lista evenimente relevante care au avut loc în acest timp. Dacă intervalul de timp este suficient de lung, el poate servi ca un semn al stabilităţii scorurilor la test.

Itemul 4.2.d    Pentru metoda observaţiei şi scalele de evaluare în particular, este important să se ştie dacă scorurile pot fi generalizate din punctul de vedere al observatorilor sau evaluatorilor. Indicii care pot fi folosiţi sunt coeficienţii de consistenţă precum: Cohen's kappa, coeficientul lui Gower (Gower, 1971) sau alte măsurări care iau în considerare diferenţele dintre medii şi varianţele evaluărilor.

Itemul 4.3.a     Pentru fiecare din cele patru forme ale fidelităţii, unele puncte cu o importanţa deosebită sunt redate mai jos:

• 1. Perfecţionarea testelor sau scalelor, de obicei, îşi propune să obţină consistenţa internă cea mai ridicată. Aceasta poate rezulta într-un conţinut al testului foarte specific care măsoară un construct foarte limitat. În general, nu este foarte dificil să se obţină o consistenţă internă crescută prin dezvoltarea itemilor care sunt aproape identici, dar asemenea scale sau teste s-ar putea să nu fie foarte utile. Aceste intercorelaţii relativ crescute pot fi datorate faptului că au o varianţă neintenţionată care nu este comună cu alţi itemi din test. Aceasta se întâmplă atunci când itemii sunt formulaţi într-o manieră similară, au un anumit cuvânt în comun ş.a.m.d. Astfel de varianţe neintenţionate pot contribui la o consistenţă internă crescută. În general vorbind, punctele menţionate mai sus semnifică faptul că testul măsoară doar parţial un construct, altul decât cel stabilit (prin limitarea constructului sau prin introducerea de varianţă neintenţionată) pentru a se obţine un grad crescut de omogenitate. Acest aspect poate fi evitat prin testarea unei singure dimensiuni în timpul fazei de perfecţionare a testului, folosindu-se analiza LISREL, de exemplu.
• 2. Nu pot fi date standarde stricte în privinţa lungimii intervalului test-retest. Ca o regulă, un interval de timp foarte scurt (până la câteva săptămâni) nu este adecvat datorită rolului jucat de memorie. Un interval lung de timp (mai lung de un an) poate de asemenea, să nu fie folositor, deoarece evenimente externe sau experienţe pot influenţa personalitatea şi abilităţile individului, afectând implicit şi scorul la retestare. Corelaţia test-retest cu intervale lungi de timp nu este un indicator al fidelităţii testui, ci mai degrabă o măsurare a stabilităţii trăsăturii testate. În orice caz, intervalele menţionate mai sus sunt mai degrabă stabilite arbitrar. Vârsta grupului testat, natura testului în sine şi scopul testului trebui întotdeauna luate în considerare, înainte de determinarea intervalului potrivit.
• 3. Metoda observaţiei şi a evaluărilor trebuie să fie realizate independent când fidelitatea inter-evaluării este folosită pentru a estima fidelitatea testului. Acest fapt ar trebui să fie clar descris în desig-ul cercetării.

Itemul 4.3.b.    Coeficienţii de fidelitate trebuie să fie calculaţi pentru grupurile pentru care testul este folosit. Acesta implică faptul că trebuie să fie calculaţi pentru fiecare grup etalonat, din moment ce scorurile subiecţilor testaţi sunt comparate cu un astfel de grup şi contează fidelitatea obţinută în cadrul acestui grup de referinţă. Din moment ce mărimea coeficientului de fidelitate depinde de distribuţia scorurilor, coeficientul calculat va fi cu siguranţă mai mare când scorurile întregului grup sau extremele distribuţiei scorurilor sunt folosite în locul coeficientului separat pentru fiecare grup etalonat.

Itemul 4.3.c. Mai jos sunt câteva exemple de informaţii care trebuie să fie valabile pentru a facilita sensul estimării calităţii pe care o are studiul fidelităţii:

• Deviaţiile standard ale scorurilor de la testarea şi retestarea grupului sunt date?
• Pentru testele cu limită de timp, a fost menţionat prodentajul subiecţilor care au răspuns la fiecare item?
• Eşantioanele pentru care au fost calculaţi coeficienţii de fidelitate au fost descrise în detaliu?
• A fost menţionat numărul observatorilor şi evaluatorilor implicaţi în măsurarea coeficientului de fidelitate?
• Observatorii şi evaluatorii, de obicei, sunt instruiţi pentru sarcina lor. Acest trainig va influenţa calitatea evaluărilor şi implicit nivelul fidelităţii inter-evaluării. Descrierea programului de instruire ar trebui detaliată suficient de bine ca să dea posibilitatea utilizatorilor de test să se pregătească în acelaşi mod încât fidelitatea evaluărilor să fie generalizată şi în cazul lor. Ar trebui să fie realizabil pentru noii utilizatori să dobândească acelaşi nivel al acestei abilităţi. Este de asemenea important să se menţioneze dacă coeficientul de fidelitate publicat este asociat cu estimarea unui singur observator sau evaluator, sau cu media estimărilor mai multor observatori sau evaluatori.

În cazul extrem, în care nu sunt date informaţii descriptive de nici un fel, coeficientul de fidelitate raportat poate fi evaluat cu "insuficient" deoarece calitatea design-ului cercetării nu poate fi verificat. În majoritatea cazurilor vor fi furnizate suficiente informaţii  pentru a se cunoaşte calitatea cercetării fidelităţii. În cazurile limită, în special (insuficient/suficient, suficient/bine), informaţii inadecvate pot constitui motiv pentru a se acorda evaluări scăzute.

•5.      Validitatea

Validitatea este măsura în care testul îşi atinge scopul. Pot fi conturate concluziile adecvate pornind de la scorurile testului? Acest sistem de evaluare urmăreşte clasificarea clasică în trei categorii cu privire la scopul cercetării validităţii (APA, 1985; Evers et al., 1988). Aceste categorii sunt: validitatea de construct, validitatea relativă la criteriu şi validitatea de conţinut. Validitatea de conţinut a fost deja tratată la criteriul 1, deoarece este privită ca o parte din procesul de perfecţionare a testului. Validitatea de construct se referă la răspunsul de la întrebarea: "Ce este măsurat cu ajutorul testului?", "Testul măsoară conceptul propus sau parţial / în întregime măsoară altceva?". Metodele şi tehnicile utilizate frecvent pentru a dovedi caracterul evident al validităţii de construct sunt: analiza factorială pentru a demonstra unidimensionalitatea, compararea mediei scorurilor la grupurile care sunt planificate să difere, şi calcularea corelaţiilor dintre testele care se presupune că măsoară acelaşi construct. În mod esenţial, acest tip de cercetare este uşor de realizat şi rezultatele pot furniza un indiciu iniţial al validităţii de construct (teoretice). Cu toate acestea, nici unul dintre aceşti indicatori nu este suficient pentru a garanta o evaluare de "suficient". Numai acumularea unor dovezi privind un studiu mai extins al constructului sau un studiu bine proiectat cu privire la multi-caracteristici ale constructului pot duce la o evaluare de "suficient" sau "bine".

Validitatea relativă la criteriu demonstrează că scorurile la test sunt raportate sistematic la unul sau mai multe criterii. În acest context, este utilizat termenul de predicţie. Predicţia poate fi focalizată asupra viitorului (validitate predictivă), asupra aceluiaşi moment din timp (validitatea concurentă), sau asupra trecutului (validitate retrospectivă). Este important de menţionat tipul criteriului pentru care sunt anticipate relaţiile. Aceasta este adevărat, în special, când testul constă în mai multe subteste sau scale. Totuşi, demonstrând validitatea tuturor subtestelor sau scalelor nu este esenţial pentru a obţine o evaluare "suficient" sau "bine", dacă o singură scală validă poate face instrumentul util.

Explicaţii / recomandări pentru fiecare item (Criteriul 5A)

Itemul 5.1        Informaţiile cerute aici se referă la structura internă şi externă a testului. Structura internă poate fi investigată prin determinarea măsurilor asociate între (grupuri de) itemi, între itemi şi test şi între subteste. Proceduri precum a folosi subiecţi la testare care gândesc cu voce tare când examinează itemii pot fi de asemena utilizate. Structura externă este de obicei investigată prin determinarea relaţiei cu alte teste (validitate convergentă sau divergentă).

Itemul 5.2        După cum a fost menţionat mai sus, validitatea de construct este un aspect adăugat ca dovadă a cercetării. Studierea validităţii de construct nu este niciodată completă. Cercetarea bias-ului referitor la itemi pentru grupuri diferite poate fi de dorit. Un avantaj în plus al cercetării bias-urilor în privinţa itemilor este că furnizează informaţii privind posibilitatea multidimensionalităţii constructului măsurat.

Itemul 5.3.a.    Când rezultatele aşteptate nu au fost formulate anticipat, rezultatele cercetării ar trebui înterpretate cu o mare precauţie. Fără aşteptări clarificate, interpretarea rezultatelor studiului poate fi uşor degenerată într-o "pescuire". Unele dintre corelaţiile semnificative vor fi de fapt rodul întâmplării şi nu este posibil să se vadă care sunt semnificative şi care nu.

Itemul 5.3.b.    Vezi explicaţiile de la itemul  5.6.b.

Itemul 5.3.c.    Fidelitatea măsurătorilor folosite trebuie să fie cunoscută. Va fi evident că validarea scorului unui test cu o fidelitate scăzută nu este folositoare, deoarece, rezultatele vor fi îndoielnice (o corelaţie scăzută poate semnifica faptul că testul măsoară ceva diferit sau poate fi rezultatul unei fidelităţi scăzute). Mai mult chiar, a valida un test cu unul asemănător este util numai dacă validitatea celuilalt test a fost suficient investigată.

Itemul 5.3.d.   Trebuie funizate informaţii asupra mărimii eşantionului şi o descriere suficient de detaliată a tehnicilor de analiză.

Explicaţii / recomandări pentru fiecare item (Criteriul 5B)

Itemul 5.4        Exemple vizând criteriile de rapotare în privinţa validităţii predictive includ: corelaţia dintre scorurile la un test de inteligenţă şi performanţa şcolară, indicele de predicţie la un test folosit pentru selecţia de personal şi datele asupra sensilbilităţii şi specificacităţii testelor pentru un diagnostic clinic. Aceste tipuri de date nu este necesar să fie adunate pentru fiecare test în fiecare situaţie nouă. Poate fi folosit principiul generalizării validităţii.

Itemul 5.5        Dacă este suficient unul sau mai mulţi coeficienţi de validitate, depinde de un număr de factori. Elementele cheie includ scopul testului, valoarea coeficienţilor de validitate, intervalul de încredere al coeficienţilor, valoarea testului comparabl cu alte instrumente sau alte surse de informaţie, corelaţia selectării şi analiza cost-beneficiu. Cu cât este mai explicit autorul testului în privinţa scopului testului, cu atât mai bine evaluatorul va judeca dacă testul are o contribuţie utilă la scopul propus.

Itemul 5.6.a     Unele aspecte care trebuie luate în considerare sunt:

• Scorul predictor şi scorul criteriu sunt stabiliţi independent? De exemplu, acesta nu este cazul când supervisor-ul care evaluează performanţa unui angajat ştie resultatele de la test dinainte de procesul de selectare.
• Intervalul de timp dintre administratrea testului şi examinarea criteriului compatibil cu folosirea propusă a testului?
• Condiţiile de testare din studiul de validitate sunt asemănătoare cu condiţiile în care testul este în realitate folosit?
• Când este folosită gneralizarea validităţii, autorul testului expune suficiente argumente pentru similaritatea dintre situaţii (sau teste) care sunt obiectul generalizării? Pentru a demonstra similaritatea testelor în sensul generalizării rezultatelor validităţii, trebuie arătat că ambele teste măsoară constructe similare şi au fidelităţi identice.

Itemul 5.6.b.    Cercetarea validităţii ar trebui realizată pe o populaţie pentru care testul este proiectat. Este cunoscut că indicii validităţii pot să descrească foarte mult când este folosit un grup omogen în locul unui grup eterogen (ţinându-se seama de variabila măsurată). De exemplu, ar fi incorect să se valideze un test proiectat pentru selectarea terapiei pe un eşantion general de populaţie. Eşantionul trebuie să fie descris prin semnificaţia variabilelor relevante psihologic şi demografic pentru a facilita o evaluare adecvată a acestui item.

Itemul 5.6.c.    Câteodată alegerea unui criteriu este evidentă şi scorurile criteriu pot fi uşor adunate, în timp ce în alte situaţii măsurile criteriu trebuie să fie în mod special perfecţionate şi colectate. În toate situaţiile criteriul trebuie decris în întregime şi ar trebui indicate care aspecte comportamentale relevante sunt incluse în măsura criteriu şi care nu. Aceasta este în special adevărat în cazul criteriilor mixte. Când intercorelaţiile componentelor separate ale unui criteriu sunt scăzute, este mai bine să se determine coeficienţii de validitate în mod separat pentru fiecare componentă decât doar pentru criteriul total.

• - Itemul 5.6.d. Când se evaluează calitatea studiului validităţii, ar trebui să fie disponibile câteva informaţii, care sunt expuse mai jos:
• - Sunt oferite rezultatele obţinute prin contra-validare?
• - Dimensiunea eşantionului ar trebui menţionată. Cu cât acesta este mai mic, cu atât mai largi sunt intervalele de încredere ale coeficienţilor de validitate.

Acest sistem de evaluare este o adaptare, la specificul românesc, a modelului olandez construit de Arne Evers.