Bij sommige opdrachten zijn meerdere beoordelaars betrokken, bijvoorbeeld in de volgende situaties:
- Beoordeling volgens het vierogenprincipe (bijv. bij afstuderen). Hierbij geven de eerste en tweede beoordelaar eerst onafhankelijk van elkaar een beoordeling en komen zij vervolgens tot een gezamenlijke beoordeling.
- De te beoordelen criteria van één rubric worden verdeeld over meerdere beoordelaars (bijv. door verschillende expertises)
Lees hier hoe je een Assignment instelt waarbij meerdere beoordelaars betrokken zijn.
Een Assignment beoordelen volgens het vierogenprincipe
Bij het beoordelen volgens het vierogenprincipe moeten twee beoordelaars de mogelijkheid hebben om eerst elk hun eigen beoordeling in te vullen en vervolgens een gezamenlijke beoordeling in te vullen. De individueel ingevulde beoordelingen van de eerste en tweede beoordelaar worden niet aan de student getoond. Alleen de gezamenlijke beoordeling kan na publicatie door de student worden bekeken.
Er zijn twee manieren om volgens dit vierogenprincipe te beoordelen:
- Met de beoordelingsopties voor meerdere beoordelaars. Hierbij krijgt elke beoordelaar een eigen tabblad met daarop de individuele beoordelingsrubric en is er één gezamenlijk tabblad.
- Door middel van drie rubrics bij één Assignment (eerste beoordelaar, tweede beoordelaar, gezamenlijke beoordeling)
Om te bepalen hoe de opdracht is ingesteld klik je (net als bij beoordelen) op Grades. Daar klik je in de kolom van de Assignment bij de student die je wilt beoordelen op het icoontje dat aangeeft dat er werk is ingeleverd.
In het geval van de eerste optie zie je dat de namen van de beoordelaars direct boven de rubrics (met als laatste het tabblad 'Aggregated').
In het geval van de tweede optie zijn er drie rubrics gekoppeld aan de Assignment:
Beoordelen volgens het vierogenprincipe via de beoordelingsopties voor meerdere beoordelaars
Zorg er eerst voor dat de opdracht goed is ingesteld. Nadat het werk is ingeleverd kun je deze als volgt beoordelen:
- Navigeer naar Grades en klik daar in de kolom van de Assignment bij de student die je wilt beoordelen op het icoontje dat aangeeft dat er werk is ingeleverd.
- Aan de rechterkant zie je nu bovenaan voor elke beoordelaar een eigen tabblad.
- Helemaal rechts zie je het tabblad ‘Aggregate’ waar later de gezamenlijke beoordeling kan worden ingevuld.
- Vul de beoordeling in op de gebruikelijke manier en klik op Ready to Aggregate als je klaar bent. Indien nodig kun je daarna nog wel aanpassingen doen en je beoordeling updaten via ‘Update evaluation’.
- Ga linksbovenaan terug via Back to Submissions of klik rechtsbovenaan of -onderaan op Next om de volgende student te beoordelen.
Zodra alle beoordelaars hun eigen beoordeling hebben gegeven kan het tabblad Aggregate worden ingevuld.
- Navigeer opnieuw naar Grades en klik daar in de kolom van de Assignment bij de student die je wilt beoordelen op het icoontje dat aangeeft dat er werk is ingeleverd. Je komt nu automatisch op het tabblad ‘Aggregate’. Deze ziet er verder hetzelfde uit als de andere tabbladen.
- Vul hier de gezamenlijke beoordeling in en klik op Save Draft.
Afhankelijk van de afspraken die binnen de academie/opleiding zijn gemaakt over wie de cijfers publiceert, klikt degene die het cijfer mag publiceren op Publish.
Heb je per ongeluk op Publish geklikt of wil je om een andere reden de publicatie van het cijfer terugtrekken, klik dan op Retract. De student heeft dan wel een melding gekregen van de publicatie, maar kan de beoordeling niet terugvinden.
Beoordelen volgens het vierogenprincipe met drie gekoppelde rubrics
Zorg er eerst voor dat de opdracht goed is ingesteld. Nadat het werk is ingeleverd kun je deze als volgt beoordelen:
- Navigeer naar Grades en klik daar in de kolom van de Assignment bij de student die je wilt beoordelen op het icoontje dat aangeeft dat er werk is ingeleverd.
- Aan de rechterkant zie je dat er drie rubrics zijn gekoppeld: één voor de eerste beoordelaar, één voor de tweede beoordelaar en één voor de gezamenlijke beoordeling.
Als de rubrics voor de eerste en tweede beoordelaar goed zijn ingesteld dan blijven deze verborgen voor studenten.
- Bij ‘Grading Rubric’ (direct onder de drie rubrics) is de rubric voor de gezamenlijke beoordeling geselecteerd. Dat betekent dat deze rubric het cijfer van de student bepaalt.
Voor het beoordelen heb je de gebruikelijke twee mogelijkheden:- Je klikt op het pijltje achter de rubric voor de eerste of tweede beoordelaar (afhankelijk van je rol) om deze te openen.
- Je klikt op het vierkantje met het pijltje dat rechtsboven de rubrics staat om de rubrics in een apart venster te openen. Daarin worden alledrie de rubrics onder elkaar getoond.
- Vul individueel de rubric in.
Als je de rubric in een apart venster hebt geopend zie je alledrie de rubrics onder elkaar staan. Je vult alleen de individuele rubric in die past bij jouw rol (eerste of tweede beoordelaar). Zodra deze is ingevuld klik eerst onderaan op Close om het venster te sluiten. Je ziet dat je wijzigingen zijn overgenomen als je op het pijltje achter de betreffende rubric klikt. - Klik op Save Draft om je beoordeling op te slaan.
Als je per ongeluk op Publish klikt, klik dan vervolgens op Retract om het gepubliceerde cijfer direct weer terug te trekken. De student heeft dan wel een melding gekregen van de publicatie, maar kan de beoordeling niet terugvinden.
Zodra beide beoordelaars elk hun eigen rubric hebben ingevuld kunnen ze samen op dezelfde wijze de gezamenlijke rubric invullen.
- Ga opnieuw naar Course Tools > Assignments, klik op de Assignment die je wilt beoordelen en klik op Go To Evaluation bij het student die je wilt beoordelen.
- Vul de gezamenlijke rubric in.
Ook hier kan dat eventueel door de rubric in een apart venster te openen. In dat venster staan de drie gekoppelde rubrics onder elkaar, dus let erop dat je nu de gezamenlijke rubric invult. - Klik op Save Draft om de beoordeling op te slaan.
- Afhankelijk van de afspraken die binnen de academie/opleiding zijn gemaakt over wie de cijfers publiceert, klikt degene die het cijfer kan publiceren op Publish.
Wie dit mag, is ingesteld bij de Assignment.
Heb je per ongeluk op Publish geklikt of wil je om een andere reden de publicatie van het cijfer terugtrekken, klik dan op Retract. De student heeft dan wel een melding gekregen van de publicatie, maar kan de beoordeling niet terugvinden.
Met meerdere beoordelaars verschillende criteria van dezelfde rubric beoordelen
Voor sommige Assignments geldt dat een aantal criteria van de rubric door de ene beoordelaar worden nagekeken en een aantal criteria door één of meer andere beoordelaars.
Dit kan in Brightspace op twee manieren:
- Door middel van geavanceerde opties om tegelijk dezelfde rubric te kunnen beoordelen (Bevat momenteel een bug - deze wordt hieronder toegelicht).
- Door middel van afstemmen wie wanneer welke studenten nakijkt, en zo te voorkomen dat beide beoordelaars tegelijk dezelfde student beoordelen (want dan gaat één van beide beoordelingen volledig verloren)
In het eerste geval zie je namen van beoordelaars boven de rubric (2) en in het tweede geval niet.
Dit kunnen méér dan twee beoordelaars zijn, ook als er uiteindelijk maar twee beoordelaars de rubric invullen.
Niet iedere beoordelaar die wordt getoond hoeft dus de rubric in te vullen.
Merk op dat er een verschil is met het beoordelen van een opdracht volgens het vierogenprincipe.
Met meerdere beoordelaars tegelijk verschillende criteria van dezelfde rubric beoordelen
Zorg er eerst voor dat de opdracht goed is ingesteld. Nadat het werk is ingeleverd kun je deze als volgt beoordelen:
- Ga naar Course Tools > Assignment en klik op de assignment die je wilt beoordelen
- Klik bij de student die je wilt beoordelen op Go to Evaluation.
Je ziet nu wie er kunnen beoordelen. Alleen de beoordelaars wiens naam hier wordt getoond kunnen deze Assignment beoordelen. Als er een beoordelaar mist moet deze eerst worden toegevoegd aan de Assignment.
- Vul op de gebruikelijke manier de rubric in.
Het is niet ingesteld wie welke criteria kan beoordelen. Stem dit dus onderling af.
- Klik op Save Draft om je beoordeling op te slaan.
Als je per ongeluk op Publish klikt, klik dan vervolgens op Retract om het gepubliceerde cijfer direct weer terug te trekken. De student heeft dan wel een melding gekregen van de publicatie, maar kan de beoordeling niet terugvinden. - Zodra alle beoordelaars hun criteria hebben ingevuld, kan de rubric gepubliceerd worden door op Publish te klikken.
Let op! Momenteel zit er een bug in deze functionaliteit. Als je namelijk daadwerkelijk tegelijkertijd met een andere docent dezelfde student beoordeelt, wordt in de totaalscore alleen de score meegenomen van de beoordelaar die de ingevulde rubric als laatste heeft opgeslagen. Dit wordt niet automatisch gecorrigeerd bij opnieuw openen, opslaan of publiceren. Alle feedback en scores per criterium van beide docenten worden wél vastgelegd.
Er is een 'workaround': Als je de ingevulde rubric nogmaals opent en één van de criteriascores uitvinkt en opnieuw weer aanvinkt is de optelling wél juist. Dit kan echter gemakkelijk worden vergeten en dan wordt de verkeerde score gepubliceerd naar de student. Als de student of docent de fout ontdekt NA publicatie kan dit alsnog op dezelfde manier worden hersteld en doorgevoerd door op Update te klikken.
Om fouten zoveel mogelijk te voorkomen zou je ook bij deze methode ervoor kunnen kiezen om voorlopig onderling te blijven afstemmen wie wanneer welke studenten nakijkt.
Met meerdere beoordelaars na elkaar verschillende criteria van dezelfde rubric beoordelen
Ga je bij een Assignment met meerdere beoordelaars verschillende criteria van dezelfde rubric beoordelen en staan er geen beoordelaars boven de rubric? Dan kun je dezelfde student alleen NA elkaar beoordelen.
Stem onderling af wie wanneer welke studenten beoordeelt om te voorkomen dat je tegelijk met een andere beoordelaar dezelfde rubric voor dezelfde student aan het invullen bent.
Als je tegelijk voor dezelfde student in dezelfde opdracht en dezelfde rubric werkt, wordt namelijk alleen de laatst opgeslagen beoordeling en feedback bewaard. Ook is er geen waarschuwing dat een andere docent de rubric al geopend heeft.
Het instellen van de opdracht en het beoordelen gaat op de gebruikelijke manier.
Nadat de ene docent heeft nagekeken slaat deze ingevulde rubric op als Draft en dan kan de volgende ermee verder. Hoe je elkaar hierover informeert moet je onderling bepalen. Hiervoor is geen functie in Brightspace.
Als alle criteria zijn beoordeeld kan het resultaat gepubliceerd worden door op Publish te klikken.
Als je per ongeluk op Publish klikt, klik dan vervolgens op Retract om het gepubliceerde cijfer direct weer terug te trekken. De student heeft dan wel een melding gekregen van de publicatie, maar kan de beoordeling niet terugvinden.