| 
  • If you are citizen of an European Union member nation, you may not use this service unless you are at least 16 years old.

  • You already know Dokkio is an AI-powered assistant to organize & manage your digital files & messages. Very soon, Dokkio will support Outlook as well as One Drive. Check it out today!

View
 

Evalueringsforskning

Page history last edited by Knud Ramian 3 years, 6 months ago

Vidensbaseret arbejde --> her

 

Det kan være svært at se forskel, men det er der.....

En side med spørgsmål, der er nyttige når man skal vælge evalueringsmodel

 

 

 

Evalueringsforskning er en  proces, hvor man ved hjælp af samfundsvidenskabelige metoder skaffer svar på spørgsmål om, hvad noget er værd ofte i forhold til forskellige interessenter.  Tilrettelæggelse og gennemførelse af evalueringsforskning kræver, at der udarbejdes en skræddersyet evalueringsprotokol, som ved andre samfundsvidenskabelige forskningsprojekter.

Evalueringsforskning adskiller sig på denne måde fra "standard evalueringer" som f.eks. er knyttet til Total Quality Management.  I TQM evalueres en organisation i forhold til foruddefinerede standarder- sommetider i forbindelse med en akkreditering.

 

 


 

Skal vi lave evaluering eller noget andet?

Hvorfor evaluering og ikke:

 

  • Teknologivurdering,
  • Kvalitetssikring/Udvikling,        
  • Benchmarking,        
  • Certificering,        
  • Praksisforskning,        
  • Aktionsforskning      

 

Hvad skal evalueringen bruges til ?

Man vil ofte gerne kunne evaluere i forhold til mange interessenter, men fokusering er afgørende.

  • Hvem er de vigtigste interessenter?
  • Hvad skal de kunne gøre, når de har læst den? Være informerede? Træffe beslutninger? Hvilke?
  • Hvem (navngivne! vil læse den? Hvilke spørgsmål vil de gerne have svar på?
  • Hvornår skal evalueringen bruges?

     

Hvilken analyseenhed skal vi vælge?

Et omhyggeligt valg af analyseenhed er afgørende for evalueringers kvalitet. Der mange muligheder i et hvert projekt.

Man kan ikke evaluere dem alle.

Hvad skal man overveje:

  • Når analyseenheden er mennesker. 
  • Når analyseenheden er et projekt       
  • Når analyseenheden er flere  projekter?     
  • Når analyseenheden er en eller flere organisationer?       
  • Når analyseenheden er en politik eller en lov?                  

 

Hvilket ambitionsniveau passer til os?

Der er forskellige ambitionsniveauer med forskellige fordele og ulemper:

  • Evaluering som ubemærket aktivitet. Vi gør det løbende og stopper op.
  • Vi gør det ved særlige lejligheder som beslutningsstøtte dvs. data, vurdering, beslutning.     
  •  Evaluering som eksplicit, formaliseret  aktivitet - projekt     
  •  Evaluering som evalueringsforskning

 

Hvilke evalueringsmodeller er bedst? 

Der er mange modeller  at vælge imellem

  • Strategisk evaluering      
  • Effektevaluering    
  • Procesevaluering      
  • Programteorievaluering  /Virkningsevaluering       
  • Responsiv evaluering
  • Interessent evaluering  (360 Graders evaluering)
  • Bruger evaluering
  •  Empowerment evaluering     
  • Målbaseret evaluering,        
  • Målfri evaluering

 

Hvilke målemetoder egner sig?

Der skal tages stilling til om der skal anvendes

  • Fortællinger
  • Spørgeskemaer
  • Interviews
  • Dokumenter
  • Observationer
  • Registre

 

 

Hvordan laver vi et  godt evalueringsdesign?

  • Nødvendige overvejelser omkring
  • Baggrund       
  • Formål       
  • Evalueringsspørgsmål       
  • Analyseenhed       
  • Valg af model       
  • Valg af dataindsamlingsmetoder       
  • Valg af analysestrategi       
  • Valg af konklusionsform              
  • Hvordan vælger vi et klart fokus for evalueringen?

 

 

Hvordan gennemfører man i praksis evalueringen?

Hvad kan gennemføres som 

  • selvevaluering,
  • intern evaluering
  • ekstern evaluering 

 

Kan man evaluere sig selv?

 

Der skal være gode grunde til at lave ekstern evaluering. Der er som regel to gode grunde:

   1. at man ikke har personaleressourcer (folk, forstand eller tid nok) til at gennemføre det.

   2. at det er 'politisk afgørende' for bevillinger eller troværdighed,  at det gøres af udefra kommende.

 

Man kan godt lave intern evaluering og der er næppe noget, man lærer mere af. Megen klinisk forskning er intern evalueringer.  Vi mener, at viden skal produceres så tæt som muligt på den, der har brug for viden, men det kan være afgørende med kompetent konsulentbistand. Jeg er konsulent for selvevalueringer - se et eksempel på resultatet:  Evalueringsrapport projekt  'Svær overvægt - håndtering og etik'

Kan man lidt engelsk er der mange spændende og lærerige steder om selv-evaluering inden for forskellige felter på nettet.  Man kan også finde en bog på 125 sider om evaluering udgivet af Kellogg foundation.

 

Kan projektet evalueres? Hvad er evaluerbarhed?

Mange indsatsformer og projekter er ikke designet med henblik på at blive evalueret og derfor skal designet laves bagefter. Det følgende er stikord og overskrifter fra en artikel, som kan inspirere til overvejelserne om, hvordan et projekt bedst muligt kan evalueres.

 

De grundlæggende spørgsmål:

1) Om den grundlæggende logik Er der en underliggende logik eller programteori?   Hvor stammer den indbyggede viden fra? Passer den med målgruppens behov?

2) Om indsatsen: Hvad sker der faktisk? Hvordan ser målgruppen faktisk ud? I hvilken sammenhæng sker indsatsen?

3) Om effekten: Hvilke muligheder foreligger der for at gennemføre metodisk forsvarlige resultatvurderinger?

4) Om effektiviteten: Kan man konstatere om det ønskede resultat opnåes?

 

Andre spørgsmål, hvor svarene kan hjælpe til at afklare, om det kan svare sig at evaluere.

 

Ekstisterer der:

A) En klar operationel definition af problemerne, intervention skal løse, interventionen og dens aktiviteter, interventionens mål og det forventede resultat?

B) Er der en klar logik (programteori) mellem indsats og resultater?

C) Enighed i mellem interessenterne om hvad evalueringen skal bruges til?

D) Evne og villighed hos de handlende interessenter til at handle på baggrund af evalueringen?

 

En god program-/virkningsteori indeholder:

    a) Vurderinger af målgruppen

    b) Mål og målsætninger

    c) Aktiviteter og komponenter

    d) Sammehæng mellem aktiviteter og mål

    e) Aktivitets- og resultatindikatorer

    f) Ressourcer

    g) Kontekst - under hvilke omstændigheder gælder teorien

 

    Ad a) Hvordan er målgruppe begrebet defineret i praksis? Kan man opsøge målgruppen? Ved man hvor mange og hvilke behov der skal dækkes?

    ad b) Er programmålene klare på alle niveuaer? I hvilken grad er de klare på system, program og individniveau? I hvilken grad hviler de på eksisterende viden? Det er svært at målsætte på nye områder.

    ad c) Er akiviteter veldefinerede og specificerede? Er de registrerbare og kan de implementeres konsistent? Er alle aktiviteter og subaktiviteter fuldt udviklede? Hvordan udvælges de?

    ad d.) Hvor sansynligt er det at målene kan nåes inden for tidsrammen, hvis aktiviteterne implementeres? Er nogle mål mere opnåelige end andre? 

    ad e) Findes der en række af definerede korttids- og langtidsresultater? Kan de måles? Er der specifikationer af såvel art som effektstørrelse, der vil være meningsfuld? Hvor ofte skal der måles?

    ad f) Er der ressourcer til at implementere programmet? Vil de vedblive med at være der?(Ressourcer= penge, expertise, mandskab,tid)

 

Det er vigtigt at kende målgruppens natur for at vurdere behovene. Var det den gruppe man havde tænkt på? Har den de problemer som projektet løser? Er der bias i populationen? Deltager forskellige undergrupper på forskellige måder og får derigennem forskellige doser af tilbudene?

    Evaluering af effekt

    Er der sammenligningsgrupper? Vi evalueringen påvirke effekten? Er det tænkeligt at effekten kan registreres med tilgængelige metoder? Hvis der kun skal være en beskeden effekt og meget forskellige effekter bliver det sværere at måle. Det er måske spild af ressourcer at måle noget, som vanskeligt kan måles?

    Er der klare overvejelser om, hvad der vil være den kortvarige eller den langvarige effekt af interventionen og hvordan de hænger sammen?

    Hvis projektet er svært evaluerbart, hvad gør man så?

    1) udvider resultatmålene til mere end programmet fastlægger,

    2) evaluerer på forskellige undergrupper af målgruppen

Inspiration fra: Rog, D. J. (1994). Expanding the boundaries of evaluation: Strategies for refining and evaluating ill-defined interventions. Developmental followup: concepts, genres, domains, and methods. S. L. Friedman and H. C. Haywood. N.Y., Academic Press.: 139-154. 

 

Kilder og links

 

 

---

120625-377  130129 407  200830 1101

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Comments (0)

You don't have permission to comment on this page.