Bij sommige opdrachten (Assignments) zijn meerdere beoordelaars betrokken, bijvoorbeeld in de volgende situaties:
- Beoordeling volgens het vierogenprincipe (bijv. bij afstuderen)
Hierbij geven de eerste en tweede beoordelaar eerst onafhankelijk van elkaar een beoordeling en komen zij vervolgens tot een gezamenlijke beoordeling. - De te beoordelen criteria van een rubric worden verdeeld over meerdere beoordelaars (bijv. door verschillende expertises)
In dit artikel laten we voor beide situaties mogelijke werkwijzes in Brightspace zien.
- Assignment instellen voor beoordelen volgens het vierogenprincipe
- Assignment instellen waarbij beoordelaars verschillende criteria van dezelfde rubric beoordelen
Dit artikel is aanvullend op artikelen over het aanmaken van Assignments en over het aanmaken van Rubrics.
Assignment instellen voor beoordelen volgens het vierogenprincipe
Bij sommige opdrachten is het noodzakelijk om te werken volgens het vierogenprincipe, waarbij twee beoordelaars onafhankelijk van elkaar het ingeleverde werk van feedback voorzien om daarna gezamenlijk tot één eindoordeel inclusief feedback te komen.
We beschrijven hieronder twee manieren waarop je volgens het vierogenprincipe kan beoordelen:
- Met een assignment die gebruikmaakt van de speciale opties voor het toewijzen van beoordelaars voor beoordelen volgens het vierogenprincipe
- Met een assignment met 3 rubrics eraan (voor beoordelaar 1, voor beoordelaar 2 en voor het gezamenlijke oordeel).
De eerste methode wordt in principe geadviseerd, omdat dit de minste kans geeft op fouten tijdens het beoordelingsproces. De tweede methode is wat eenvoudiger, maar ook foutgevoeliger.
Het vierogenprincipe toepassen via speciale opties voor het toewijzen van beoordelaars
Bij deze werkwijze wordt de rubric die aan de assignment is gekoppeld op meerdere tabbladen getoond:
- een tabblad voor de eerste beoordelaar
- een tabblad voor de tweede beoordelaar
- en een tabblad voor de gezamenlijke beoordeling.
Elke beoordelaar kan alleen het eigen tabblad invullen én het gezamenlijke tabblad. Een beoordelaar kan wel de beoordeling van de andere beoordelaar(s) bekijken, maar niet wijzigen.
- Maak een Assignment aan op de manier zoals je dit gewend bent (zie Assignments aanmaken) en koppel daarbij ook de beoordelingsrubric.
- Onder de gekoppelde rubric zie je bij het kopje ‘Evaluators’ hoeveel beoordelaars er in de omgeving aanwezig zijn.
Als je deze optie wil gebruiken moet je op Select Evaluators klikken bij het aanmaken van het assignment. Alle docenten die in de cursus zitten worden dan gekoppeld aan het assignment. Je kunt dan later een verdeling maken wie wat beoordeeld. Als er eenmaal iets is ingeleverd bij het assignment kun je deze optie niet meer aankllikken.
- Klik op Select Evaluators om de beoordelaars te koppelen die deze assignment mogen beoordelen.
Ook als je alle beoordelaars wilt koppelen moet je deze stap uitvoeren anders worden de andere instellingen voor deze functionaliteit niet zichtbaar.
- Klik op Done om je selectie vast te leggen.
Heb je een poule van beoordelaars, koppel dan nu of op een later moment specifieke beoordelaars per student.
Let op: Elke beoordelaar die aan een student is toegewezen, moet daadwerkelijk de beoordeling uitvoeren, anders kan er geen gezamenlijke beoordeling worden gemaakt.
Je kunt per student de toegewezen beoordelaars blijven wijzigen zolang de beoordeling van die student nog niet is gepubliceerd.
Het toewijzen van beoordelaars aan studenten gaat als volgt:
- Klik in de Assignment bij Evaluation & Feedback op Manage Allocations. Je ziet dan een tabel met een rij per student en een kolom per geselecteerde beoordelaar.
- Bepaal hoe je wilt toewijzen:
- Wil je beoordelaars automatisch toewijzen, selecteer dan bij Default Allocation Method hoe je beoordelaars wilt toewijzen aan studenten en klik op Apply Allocation Method:
- Alle beoordelaars koppelen aan alle studenten (bijv. als er maar twee docenten in de omgeving aanwezig zijn).
- 'At random' twee of drie beoordelaars per student toewijzen.
- Wil je handmatig beoordelaars toewijzen, klik dan rechts boven de tabel op Clear Table Selections.
Je kunt nu handmatig twee of drie docenten selecteren per student.
- Wil je beoordelaars automatisch toewijzen, selecteer dan bij Default Allocation Method hoe je beoordelaars wilt toewijzen aan studenten en klik op Apply Allocation Method:
Bij het handmatig toewijzen van beoordelaars aan studenten kan het handig zijn als de studenten in de cursusomgeving al zijn ingedeeld in groepen per beoordelaar. Door een groep te selecteren wordt de lijst met studenten namelijk gefilterd, waardoor je via het vinkje ‘n of n learners’ bovenaan de kolom, gemakkelijk de hele lijst ineens aan één of twee beoordelaars kunt toewijzen.
- Klik onderaan op Done om de toewijzingen op te slaan. Je kunt de toewijzingen per student blijven wijzigen totdat het cijfer van die student gepubliceerd is. Zelfs daarna zou je ook nog kunnen wijzigen mits het je eerst het cijfer weer 'terugtrekt' (via Retract).
- Selecteer de optie ‘Multiple individual evaluations' om aan te geven dat meerdere beoordelaars elk hun eigen rubric en vervolgens een gezamenlijke rubric (aggregated) zullen invullen.
- Bij Publishers kun je instellen wie de cijfers mag publiceren. Daarbij zijn er drie opties:
- alle beoordelaars mogen alle cijfers publiceren;
- beoordelaars mogen alleen de cijfers publiceren die ze zelf gegeven hebben;
- je selecteert slechts enkele personen die cijfers mogen publiceren.
Let op: Om de 'Aggregated' rubric in te kunnen vullen moet de beoordelaar kunnen publiceren. Zorg er dus voor dat minimaal één van de twee beoordelaars rechten heeft om cijfers te publiceren.
Het vierogenprincipe toepassen door drie rubrics te gebruiken
Een andere mogelijkheid om het vierogenprincipe toe te passen bij het beoordelen van een Assignment, is het koppelen van drie rubrics aan één Assignment. Dit gaat als volgt:
- Maak de rubric aan die je wilt gebruiken voor de eerste beoordelaar en maak hier twee kopieën van, zodat je in totaal drie dezelfde rubrics hebt:
- Naam rubric - eerste beoordelaar
- Naam rubric - tweede beoordelaar
- Naam rubric - gezamenlijk oordeel
Tip: de volgorde waarin je de rubrics aanmaakt is ook de volgorde waarin ze in het beoordelingsformulier komen te staan. Vandaar dat je begint met de rubric voor de eerste beoordelaar.
- Bij de rubrics voor de eerste en tweede beoordelaar stel je in dat deze verborgen blijven voor studenten, evenals de scores:
- Maak de Assignment aan die beoordeeld moet worden.
- Koppel alle drie de rubrics aan deze assignment en stel daarbij de gezamenlijke rubric in als de default rubric voor het cijfer:
Zodra er werk is ingeleverd kun je dit beoordelen volgens het vierogenprincipe met drie gekoppelde rubrics.
Assignment instellen waarbij beoordelaars verschillende criteria van dezelfde rubric beoordelen
In dit geval heb je een rubric met meerdere criteria, waarvan een aantal criteria door de ene docent worden nagekeken en een aantal criteria door één of meer andere docenten.
Dit kan in Brightspace op twee manieren:
- Door middel van geavanceerde opties om tegelijk dezelfde rubric te kunnen beoordelen (Bevat momenteel een bug!)*.
- Door middel van afstemmen wie wanneer welke studenten nakijkt, en zo te voorkomen dat beide beoordelaars tegelijk dezelfde student beoordelen (want dan gaat één van beide beoordelingen volledig verloren)
De eerste optie wordt in principe geadviseerd, omdat deze de minste kans geeft op fouten tijdens het beoordelingsproces. De tweede methode is eenvoudiger in te stellen, maar ook foutgevoeliger.
* Momenteel zit er helaas nog een bug in de eerste optie die voor meer foutgevoeligheid zorgt:
Als je namelijk daadwerkelijk tegelijkertijd met een andere beoordelaar dezelfde student beoordeelt, wordt in de totaalscore alleen de score meegenomen van de beoordelaar die de ingevulde rubric als laatste heeft opgeslagen. Dit wordt niet automatisch gecorrigeerd bij opnieuw openen, opslaan of publiceren. Alle feedback en scores per criterium van beide beoordelaars worden wél vastgelegd.
Er is een 'workaround': Als je de ingevulde rubric nogmaals opent en één van de criteriascores uitvinkt en opnieuw weer aanvinkt is de optelling wél juist. Dit kan echter gemakkelijk worden vergeten en dan wordt de verkeerde score gepubliceerd naar de student. Als de student of docent de fout ontdekt NA publicatie kan dit alsnog op dezelfde manier worden hersteld en doorgevoerd en dan vervolgens op Update te klikken.
Om fouten zoveel mogelijk te voorkomen zou je ook bij deze methode ervoor kunnen kiezen om voorlopig onderling te blijven afstemmen wie wanneer welke studenten nakijkt.
Assignment instellen waarbij beoordelaars tegelijk verschillende criteria van dezelfde rubric beoordelen
- Maak een normale assignment aan en koppel er een rubric aan die alle criteria bevat waarop de assignment beoordeeld moet worden.
- Maak daarbij eventueel gebruik van Criteria Groups die je een naam geeft die overeenkomt met de verschillende expertises van de betrokken beoordelaars.
- Kijk onder de gekoppelde rubric bij het kopje ‘Evaluators’. Daar zie je hoeveel beoordelaars er in de omgeving aanwezig zijn. Klik op Select Evaluators om er twee of meer te koppelen aan de Assignment.
Daarna zie je pas de onderstaande opties.
- Selecteer bij ‘Coordinate multiple evaluators’ de optie One shared evaluation.
- Standaard kunnen alle geselecteerde beoordelaars alle studenten beoordelen. Bij ‘One shared evaluation’ maakt het niet uit of alle geselecteerde beoordelaars ook daadwerkelijk beoordeeld hebben. Toch is het ook hier mogelijk om via Manage Allocations per (groep) student(en) specifieke beoordelaars toe te wijzen. (zie uitleg hierboven)
Daarbij kun je echter niet aangeven welke beoordelaar welke criteria of criteria group beoordeelt. Dat moeten de beoordelaars onderling afstemmen en opvolgen, want er is geen beveiliging die voorkomt dat je de verkeerde criteria beoordeelt. Vanwege de verschillende expertises die hierbij een rol spelen is het echter logisch dat elke beoordelaar gewoon de criteria zal beoordelen die bij de eigen expertise passen.
- Selecteer bij ‘Publishers’ wie de cijfers mogen publiceren. Daarbij zijn er drie opties:
- Alle beoordelaars mogen alle cijfers publiceren
- Beoordelaars mogen alleen de cijfers publiceren die ze zelf gegeven hebben
- Je selecteert slechts enkele personen die cijfers mogen publiceren
- Klik onderaan op Save and Close om de wijzigingen op te slaan.
Met meerdere beoordelaars tegelijk verschillende criteria van dezelfde rubric beoordelen
Assignment instellen waarbij beoordelaars na elkaar verschillende criteria van dezelfde rubric beoordelen
- Maak een normale assignment aan.
-
Koppel een rubric aan de assignment die alle criteria bevat waarop de assignment beoordeeld moet worden.
Eventueel kun je werken met meerdere Criteria Groups in de rubric en daarbij elke Criteria Group een naam geven die overeenkomt met de verschillende expertises van de betrokken beoordelaars. Hierover lees je in Rubrics aanmaken.
Verder hoef je niets bijzonders in te stellen.
LET OP! Beoordelaars moeten onderling afstemmen wanneer ze welke studenten beoordelen om te voorkomen dat ze tegelijk dezelfde student beoordelen.
Nadat de ene docent heeft beoordeeld wordt de rubric opgeslagen als Draft en dan kan de volgende ermee verder. Het publiceren van het resultaat aan de student gaat op dezelfde manier als bij andere assignments.