I betragtning af den fundamentale vigtighed, som rekrutteringsproblemet har for enhver virksomhed, kan det kun undre, at så få erhvervsvirksomheder har iværksat alvorlige bestræbelser på at kontrollere effektiviteten af denne og andre sider af personalefunktionen.

I en tidligere artikel i nærværende tidsskrift har Hans Suhr-Jessen (6) behandlet en række af problemerne i forbindelse: med kontrol med personaleprognoser og anviser en række principper og metoder for løsning af de herhen hørende problemer, men peger også på en række vanskeligheder ved at løse dem.

Det tjener psykologerne til ære, at interessen for empiriske konstateringeraf, hvad psykologiske tests og andre udvælgelsesmetoder er værd, ikke stammer fra et krav fra erhvervslivet til psykologerne om at bevise sådanne metoders berettigelse, men at det tværtimod er de alvorligt arbejdende erhvervspsykologer, der på et tidligt tidspunkt har påvist værdien af at foretage empiriske undersøgelser og opfordret til at basere virksomhedernes brug af hjælpemidler på deres resultater. Det volder da som regel heller ikke store vanskeligheder at få selve prognosen udarbejdet i en sådan form, at den senere kan gøres til genstand for kontrol. Som Albright, Glennon og Smith konstaterer (1), er formålet med denne art testning ikke at vurdere ansøgernes intelligens, mekaniskeanlæg eller deres personlighed, men at forudsige den enkeltes chancer for succes i et givet job. En sådan prognose udtrykkes let i kvantitativ form og er altså let tilgængelig for opfølgning og kontrol.

---

*) cand. mag., konsulent, Dansk Arbejdsgiverforening.

Det samme gælder virksomhedernes interne udvælgelsesmetoder, som interviewet, der også let kan konkluderes kvantitativt, omend det næppe sker ofte. Alene af denne grund bør det tjene til advarsel for et firma, hvis dets psykologiske konsulent insisterer på kun at udtrykke sine konklusioneri mere eller mindre ordrige beskrivelser af ansøgerens særpræg, hvorved muligheden for senere kontrol er forspildt, som Suhr-Jessen har illustreret i den nævnte artikel.

Det kan i første omgang synes helt urealistisk at hævde, at den anden forudsætning for en effektiv kontrol med personaleudvælgelse og med bedømmelsessystemer, nemlig et holdbart og adækvat kriterium for de ansattes dygtighed i praksis, kan være betydeligt vanskeligere at opnå.

De vurderinger, der undertiden forefindes i kvantitativ form, kan sjældent betragtes som et konkluderende skøn. Den præsterede arbejdsmængde er som regel kun een side af medarbejderens arbejde, der må suppleres med sådanne forhold som arbejdskvalitet, samarbejdsevne, initiativ, o. s. v., hvis et fuldstændigt billede af hans egnethed skal opnås, og vanskelighederne ved at tillægge disse forhold den rette indbyrdes vægt bevirker ofte, at sådanne kriterier udviser en mindre reliabilitet end de tests el. lign., som skulle kontrolleres. Eksamenskarakterer eller andre resultater af en undervisning, f. eks. fra interne træningskursus, anvendes undertiden som kriterium, men ikke sjældent fejlagtigt. For kandidaten og for den skole, han har gennemgået, er resultatet måske et kriterium for undervisningens kvalitet og for kandidatens egnethed til at gennemføre undervisningen. For erhvervsvirksomheden er eksamensresultatet derimod et prognoseinstrument på linie med tests, interviews, etc., som selv bør være genstand for kontrol ved sammenligning med et endeligt kriterium - og en del af de få sådanne undersøgelser, der er foretaget, tyder på, at det sker for sjældent. De personalebedømmelser, der undertiden foretages i en del virksomheder, skulle teoretisk kunne anvendes og udgøre et adækvat kriterium. En nøgtern undersøgelse viser som regel, at de er beheftet med så stor usikkerhed, udviser en så ringe reliabilitet - der tilmed ofte kun kan kontrolleres skønsmæssigt - og er udarbejdet til specielle personaleadministrative formål, således at deres værdi som alment kriterium for duelighed er yderst tvivlsom.

I det følgende beskrives en fremgangsmåde ved tilvejebringelse af et kriterium, som i praksis har vist sig at give et holdbart mål for de ansattesrelative egnethed i praksis, udtrykt i kvantitativ form, med så stor reliabilitet, at der er tale om et endog ganske fintmærkende instrument,og hvis validitet kan beregnes i forhold til andre kriterier på en

sådan måde, at dets brugbarhed som kontrolinstrument er særdeles stor. Fremgangsmåden er anvendt af forfatteren ved en række researchprojekteri Danmark, Sverige og Finland, dels til kontrol med allerede foretagne prognoser, dels til udarbejdelse af udvælgelsessystemer (valideringaf tests, afvejning af test-batterier, test-konstruktion), og dels endelig til udarbejdelse, validering og kontrol med bedømmelsessystemeraf særlig konstruktion (forced choice metode), der anvendes i forbindelsemed de pågældende firmaers interne rekrutterings- og forfremmelsessystem.

Kriteriet, og tilvejebringelsen af det, er baseret på den nøgterne konstatering, at en medarbejders værdi og dygtighed ikke er en objektiv størrelse, der er uafhængig af den givne virksomhed, men simpelthen et spørgsmål om, hvad hans overordnede mener onn ham. Virksomhedens ledelse - den enkeltes overordnede som gruppe - er i denne forbindelse det givne. At en underordnet er »dygtig«, hvis hans overordnede er enige om at betegne ham som udygtig, er en utopi, idet hans placering, forfremmelsesmuligheder, ofte også hans løn, afhænger af hans overordnedes skøn over hans dygtighed. At de overordnede kan skønne forkert, er en urealistisk indvending, da man næppe kan forestille sig, at virksomhedens topledelse selv skulle tage sin afsked, fordi en af de ansatte mente, at han var dygtigere, end ledelsen anså ham for at være.

Det er altså denne sum af de overordnedes skøn, der skal konverteres til en entydig kvantitativ størrelse, og den metode, der er fundet mest hensigtsmæssig hertil i praksis, er den, der som regel benævnes alternativ rangordning. Den foreligger relativt summarisk beskrevet i litteraturen (4, 5), er anvendt i en række erhvervsvirksomheder i U. S. A., men synes, som det skal fremgå af det følgende, at gøre sig fortjent til betydelig større anvendelse i kraft; af resultaternes centrale betydning, dens udprægede anvendelighed til en lang række formål, og i særdeleshed de muligheder, den giver for kontrol med kriteriets egen reliabilitet i det enkelte tilfælde, både som helhed og hvad de enkelte bedømmeres skøn angår, som den er baseret på.

Ved den alternative rangordning præsenterer man listen over de personer,der skal bedømmes, i forbindelse med følgende to spørgsmål til den overordnede, som han næsten altid vil opfatte som relevante: »Hvem er den dygtigste i gruppen?« og »Hvem er den mindst dygtige?«. Der er altså ikke tale om at vurdere, om de overhovedet er dygtige eller udygtige, hvad mange har uvilje mod at udtale sig om. Når de to er lokaliseret, udstreges de af listen - overføres til rangordningslisten henholdsvisøverst

holdsvisøverstog nederst -, og spørgsmålene gentages om resten af
gruppen. Således videre, til hele gruppen er rangordnet.

Der findes andre metoder til rangordning (f. eks. parvis sammenligning, hvor hver enkelt sammenlignes med alle andre, men een ad gangen), som giver tilsvarende gode, men sjældent bedre, resultater, men er mere omstændelige at gennemføre.

Til de allerede nævnte fordele ved metoden kommer, som det ses, at den er tidsbesparende for bedømmerne. Den enkelte behøver sjældent at sætte mere end en halv time af. De væsentligste ulemper er, at den enkelte overordnede må kunne rangordne mindst 5 personer - herom nedenfor - og at den enkelte underordnede må kunne vurderes af som regel mindst tre overordnede. Dette sidste betyder, at man ikke, som ved andre personalebedømmelser, kan nøjes med at indhente bedømmelser fra den enkelte overordnede over personerne i hans afdeling. Alle, der har direkte kendskab til den enkeltes arbejde og værd som ansat, må som regel anmodes om at medtage ham i sin rangordning. Om kendskabet er godt nok, kan man bagefter beregne sig til. Herom nedenfor.

Ved en undersøgelse, der vedrørte arbejdsledere, samlede man i det pågældende firma alle de overordnede, der havde arbejdsledere under sig, og efter at have beskrevet det planlagte projekt udleverede man en liste over alle de arbejdsledere, man var interesseret i at få bedømt, med overskriften »Hvem kender hvem?«. De udfyldte lister, med kryds under »godt kendskab«, »nogenlunde kendskab« eller »ringe eller intet kendskab« ud for hvert navn, blev afleveret ved døren og lettede i høj grad arbejdet med at tilrettelægge bedømmelsesarbejdet.

Trods enkelheden i arbejdet forudsætter rangordningen en grundig
vejledning. Et eksempel på en sådan er vist i fig. 1, medens fig. 2 viser
et eksempel på en rangordningsliste.

Når rangordningslisterne foreligger udfyldt, må den enkelte bedømtes placering konverteres til en pointsværdi, der er således beskaffen, at den tager hensyn til visse statistiske og psykologiske faktorer. Den må tage hensyn til det forhold, at en liste kan være lang eller kort: at være nr. 2 af seks personer betyder ikke det samme som at være nr. 2 af 30. Den må også tage hensyn til det forhold, at forskellen som regel er klarere ved listens yderpunkter end på midten: når en overordnet skal rangordne 30 personer, vil det normalt være langt lettere at skelne mellem den dygtigste og den næstdygtigste end at skelne mellem nr. 13 og 14 i gruppen.

Disse forhold svarer udmærket til egenskaberne ved den arbejdshypotese,
man normalt anvender ved konverteringen, nemlig at fordelingen
af en gruppe kan betragtes som værende en normalfordeling (fig. 3).

Det forudsættes bekendt, at medianen i en normalfordeling er lig middeltallet, og at det kan beregnes, hvor mange procent af en gruppe, der - om vi forudsætter en normalfordeling - skal befinde sig mellem medianen og 1 a til hver side. Om man nu fastslår, at man ønsker at udtrykke medianen med et givet tal, f. eks. 20, og vælger en given spredning på 5, har man altså dermed vedtaget, at den midterste person på en rangliste får 20 points - uanset hvor mange personer listen indeholder - og man kan beregne sig til., hvor mange points hver af de andre på listen skal have. I praksis anvendes en tabel, der på forhånd er udregnet (fig. 4).

Andre arbejdshypoteser end normalfordelingen kan anvendes, hvilket anføres for fuldstændighedens skyld. Således går William H. Ward (7) ud fra en »rektangulær« fordeling og giver i den anførte artikel en tabel til konvertering af ranglister på grundlag af denne hypotese. Andre tabeller (baseret på normalfordelingen) findes hos (5) (1-9 skala, middeltal 5, spredning 5), (1), middeltal 50, spredning 10, og (4), middeltal 30, spredning 10.

Når alle ranglister er konverteret til points, opstilles en liste over alle bedømte, hvortil man overfører hans pointstal fra alle lister, hvor han findes bedømt. Derefter beregnes, for hver enkelt, det aritmetiske gennemsnitaf hans points, som er hans endelige pointstal, forudsat at han er bedømt af mindst 3 bedømmere, at afvigelserne mellem disse berømmelserikke er for store, og at vi ikke ved vore videre undersøgelser må konstatere, at en eller flere af bedømmerne i almindelighed er så

Ved hjælp af denne tabel konverteres placeringen på et rangordningsskema til points på en sådan måde, at den gruppe, der rangordnes, bliver indordnet i en normalfordelingmed middeltallet 20 og en spredning på 5. Tabellen anvendes således: Tæl først antallet af personer, der er rangordnet på den enkelte liste. Opsøg dette tal i tabellens hovede. Tallene i den pågældende kolonne angiver nu de pointstal, der skal tillægges hver person på rangordningslisten i henhold til den enkeltes placering. Kun lister med mindst 5 navne kan benyttes. Skal mere end 30 personer rangordnes af en enkelt bedommer,bar det foretrækkes at opstille flere lister, evt. således at et antal navne forekommer på mere end een liste. Konverteringsmetoden hidrører fra Standard Oil Company (N. J.), Employee Relations Research Division, New York.

upålidelige, at deres bedømmelser må indgå med mindre vægt, eller at man helt må se bort fra dem. Her viser sig nemlig især den fordel ved rangordning, at metoden let kan gøres til genstand for undersøgelser af den generelle reliabilitet og af den enkelte bedømmers pålidelighed eller validitet.

Reliabiliteten af den sammenfattende rangordningsliste kan undersøges på flere måder. Den enkleste er en rent visuel undersøgelse, der kan foretages, hvis man opfører alle bedømte i forspalten på et skema og i skemaets hovede angiver den anvendte skala, som vist på fig. 5. Ved kryds er afmærket alle enkeltbedømmelser af hver bedømt person. Spredningen af disse bedømmelser giver et godt indtryk af den indbyrdes enighed og dermed reliabiliteten af det mål, man har fået for de enkeltes relative dygtighed.

Et talmæssigt udtryk for reliabiliteten kan fås, hvis man deler bedømmelserne op i 2 grupper på en eller anden tilfældig måde, for hver enkelt bedømt beregner et gennemsnit for bedømmelsen fra de to grupper af bedømmere og derefter beregner korrelationen mellem de to grupper af bedømmere. Se f. eks. (8).

Om den enkelte bedømmer er særligt upålidelig eller afviger systematisk fra de øvrige, kan man få et umiddelbart indtryk af, hvis man i et skema som bilag 5 anfører bedømmelsernes forbogstaver (evt. symboler) i stedet for kryds. Man får da særdeles let et overblik over, om visse bedømmere særlig ofte befinder sig i yderkanten, og det kendskab, man som regel har til de enkelte bedømmere og deres forhold til de bedømte, kan måske umiddelbart føre til visse konklusioner.

Et mere »håndfast« mål for den enkeltes pålidelighed fås ved at beregne korrelationen mellem hver enkelt bedømmer og gennemsnitsbedømmelsen for de folk, han har rangordnet. Fremgangsmåden lyder betydelig mere indviklet, end den er:

På hver enkelt rangordningsliste anføres ud for hvert navn den pågældendes gennemsnitspoints. Disse gennemsnitspoints rangordnes efter størrelse. For hver bedømt person anføres derefter differencen mellem gennemsnits-rangordenen og rangordenen på den pågældende liste. Endelig anføres kvadratet på disse differencer, og kvadraterne lægges sammen. Korrelationskoefficienten beregnes nu efter følgende formel for rang-korrelationsberegning:

hvor £rank = rang-korrelationskoef ficienten,

2d2 = suramen af kvadraterne pa differencerne,

N = antallet af personer, der er rangordnet.

Enkelte statistiske værker indeholder i øvrigt tavler, hvor koefficienten
direkte kan aflæses, når TV og 2d2 er kendt. Se således (2).

Fuldstændig enighed - der i øvrigt ikke er helt sjælden - giver koefficienten 1.00. I praksis vil den sjældent ligge under 0.50, og den bør normalt ikke ligge væsentligt under 0.80. Negative koefficienter har forf. endnu ikke set.

Sammenligner man med de koefficienter, man normalt arbejder med i personaleadministrativt research-arbejde, må man erkende, at det er høje tal, som klart viser, at rangordningsteknikken som regel er en yderst pålidelig teknik. Middeltallet for de individuelle validitets-koefficienter, forf. har fundet, har altid oversteget 0.80.

Når den enkelte bedømmers validitet ( som altså her er et udtryk for hans enighed med gennemsnittet af alle bedømmere) er konstateret, er det let at foretage videregående undersøgelser af, hvad den eventuelle uenighed kan stå i forbindelse med. Et par eksempler fra praksis kan nævnes her:

I een virksomhed rangordnedes alle arbejdsledere af samtlige overordnede, linie og stab. En simpel opstilling af alle bedømmere efter stillingskategori viste, at den højeste koefficient for validiteten fandtes hos de bedømmere, der var et par trin højere end de bedømte i virksomhedens organisation. Topcheferne og de nærmeste overordnede lå gennemgående lavere i graden af enighed med gennemsnittet. Lavest lå imidlertid et antal stabschefer, der øjensynligt har vurderet på grundlag af ret specielle synspunkter (for en revisor vejer »orden i bilagene« formentlig tungere i vægtskålen end for drifts- og produktionscheferne).

I et olieselskab rangordnedes alle service stations-forpagtere. Tre instruktører ved selskabets service skoler viste relativt stor uenighed med gennemsnittet, men en sammenligning mellem de tre viste stor enighed indbyrdes. (Smig. hvad ovenfor blev anført om skoleresultater som kriterium). En yderligere sammenligning med testresultater for de samme forpagtere viste, at der var betydeligt bedre overensstemmelse mellem resultater ved prøver på indlæringsevne og bedømmelser fra instruktørerne end mellem samme prøver og bedømmelser fra salgsfolkene, der til gengæld viste større overensstemmelse med salgsresultaterne fra de pågældende stationer. En indgående analyse af inter-korrelationerne ville føre for vidt i nærværende artikel. Men det bør måske nævnes, at da man var interesseret i at øge forpagternes fleksibilitet på grund af det ønskelige i en tilpasning til skiftende markedssituationer, altså indlæringsevne hos.forpagterne og ikke blot øjeblikkelig høj omsætning, lod man instruktørernes bedømmelse indgå med den fulde vægt.

Andre årsager til en vis uoverensstemmelse mellem bedømmerne kan kræve en lidt mere indgående analyse for at afklares. Det kunne f. eks. tænkes, at bedømmere - enkeltvis eller generelt - favoriserede visse grupper blandt de bedømte i forhold til andre.

Et effektivt middel til sadanne analyser kan besta i, at de enkelte
rangordningsskemaer udfores grafisk i et koordinatsystem, hvor X-aksen

viser gennemsnitsbedømmelsen, medens Y-aksem viser den enkelte bedømmersrangordning,
som i fig. 6.

Når alle lister er opført på denne måde, er det let at udvælge de personkategorier blandt de bedømte, man er interesseret i. Ved at man f. eks. indcirkler de enkelte bedømmeres egne underordnede, kan samme bedømmers resultat komme til at se ud som vist i fig. 7.

Det fremgår heraf, at den pågældende bedømmer har tendens til at

vurdere sine egne underordnede i overkanten i forhold til andre, som han mener at kunne sammenligne dem med. For en større gruppe bedømmerekan det undersøges, om sådanne tendenser er generelle. Fig. 8 viser et eksempel på, hvorledes en simpel optælling af »for høje« og »for lave« bedømmelser giver et klart overblik over de lokale tendenser ved bedømmelse af personer, der i den pågældende virksomhed befinder sig i en bestemt placering i organisationen i forhold til bedømmerne. Det bør måske understreges, at de konklusioner, en sådan grafisk fremstillingkan give anledning til, på ingen måde må anses for generelle, men er helt lokalt præget.

Sådanne analyser som de sidst omtalte kan, når bedømmelserne skal anvendes til research-formål, være berettigede for at sikre, at der ikke forekommer systematiske fejl i materialet, og det kan, for vurdering af andre bedømmelsessystemer i den enkelte virksomhed, være af betydelig lokal interesse at blive gjort opmærksom på eventuelle udprægede tendenser af de nævnte eller lignende arter.

Eksemplerne kan formodentlig tillige illustrere, at de oplysninger, man kan få gennem bedømmelse ved alternativ rangordning, er af en anderledes eksakt kvalitet, end hvad man kan opnå ved de fleste andre metoder. Ikke alene fordi nøjagtigheden altid er større - hvad man på ingen måde kan være sikker på - men fordi man er i stand til at holde unøjagtigheden under kontrol, generelt såvel som hos den enkelte bedømmer. Alene det forhold, at man med stor præcision kan konstatere den usikkerhedsmargin, man arbejder med, placerer denne bedømmelsesteknik på et andet niveau end de fleste nu gængse metoder til personalebedømmelse og etablering af kriterier for udvælgelse og bedømmelse.

Litteratur:

(1) Albright, Lewis E., J. R. Glennon, Wallace J. Smith: The Use of Psychological
Tests in Industry. Copenhagen 1963.

(2) Dunlap, Jack, and Albert Kurtz: Handbook of Statistical Nomographs, Tables and
Formulas. New York 1932 (optrykt af University Microfilms, Inc., Ann Arbor,
1960).

(3) Garrett, Henry E.: Statistics in Psychology and Education. New York 1958.

(4) Made to Measure. Notes from a Conference on Personnel Measurement, Baton
Rouge, Louisiana. Standard Oil Company (N. J.), 1951.

(5) S. Rubenowitz: Tests och deras anvåndning vid urval. P. A.-rådet, Stockholm, 1959.

(6) Hans Suhr-Jessen: Kontrol med personprognoser. Erhvervsøkonomisk Tidsskrift,
27. årg. nr. 2, 1963, s. 93-103.

(7) Ward, William H.: The »It's Your Business« Approach to Rating. Personnel
Psychology, vol. 14, no. 2, summer 1961, p. 183-191.

(8) Aamodt, Johan: Vurdering av arbeidsledere. Nordisk Psykologi, 1960, nr. 1-2,
s. 198-206.