Docimologie
céqwa?
Page : 1
Pseudo Messages
Page : 1
Rockeur - Publié le 24/05/2011 à 13:03:27


Pomme de terre
1875 messages
Docimologie
Étude de l'évaluation en pédagogie

C'est un large domaine... c'est pas vraiment un débat, c'est juste des précisions qu'il serait utile que chaque testeur lise... et si d'autres personnes ont des exemples de problèmes du même type pour compléter cette fiche, je suis preneur !


En tant qu'évaluateur de jeu, il y a plusieurs pièges auxquels vous devez faire face... et tant bien même vous estimez avoir contré ces phénomènes, je vous répondrais que vous êtes très imbu de vous même (), car dans un test psychologique réalisé, pas loin de 99% des sujets ont prouvé que certains phénomènes amènent à une notation subjective.
Une vingtaine de copies de maths ont été évalués par 12 profs différents. En moyenne, la variation de note des copies était de 5 points. Pour l'une d'entre elles, les notes des 12 profs allaient de 11 à 18.
Pourtant, on ne peut pas dire, les maths c'est censé être objectif !
Je ne parlerai pas de la philosophie.

Quelques conseils pour éviter ça donc:

- Une personne physiquement moyenne peut sembler laide si elle est entourée de belles personnes. Cette même personne paraîtra belle au milieu de personne laide.
Et dans le jeu ? Un jeu moyen peut être évalué comme bon si évalué après un mauvais jeu... et vice versa.

- Une copie sera mieux évaluée si on sait qu'elle vient d'un bon élève.
Dans le jeu, si on sait que le maker est bon, on pourrait avoir tendance à le surévaluer... et vice versa.

- Dans la même optique, il faut se méfier des a priori : vous connaissez le maker et vous pouvez faire la différence entre une contre-performance accidentelle et une lacune réelle...
Vous êtes juge ! Objectif et impartial : vous devez évaluer les gens sur un même pied d'égalité ! Vous n'êtes donc pas censé connaitre le maker, vous n'êtes pas censé avoir de la pitié car c'est votre pote, et vous n'êtes pas censé prendre compte ses capacités pour savoir si c'est un accident ou une lacune, si vous voyez une erreur.

- Si possible : une évaluation, c'est un message aussi, ce n'est pas qu'un élément de comparaison.

C'est pour cela que je me permets quelques conseils :

- Testez tous les jeux, et ne les notez qu'après. Ne les notez pas un par un => ne notez pas le jeu après l'avoir terminé pour passer au suivant.
Noter est une source de motivation, on aime se sentir juge, ça donne un statut... vous pouvez donc noter, en attendant... mais ne diffusez pas, et revoyez vos notes qu'une fois que vous avez tout testé.

- Le mieux est justement d'éviter de voir avant d'évaluer le nom du maker, son âge, sa provenance, etc...
Bon, malheureusement, vous vous connaissez tous un peu... et vous vous doutez bien souvent de qui a fait quoi... mais il a été prouvé que les connaissances étaient mieux évaluées que les inconnu (et vous pouvez toujours dire "non moi j'ai jamais fait ça", vous êtes malheureusement humain, et il ne faut pas se voiler la face, ce sont des faits prouvés :/)
Les informations comme "pseudo", "actif sur tel forum", sont là à titre indicatif, pas pour l'éval donc.


- Vous éviterez donc l'appréhension donc devant le prochain "1 rpg sans nom" et vous ne vous extasierez pas devant le prochain "Off" ou "Aëdemphia".
Il n'est pas impossible que le jeune maker de 1 rpg sans nom puisse vous sortir une bombe demain... mais l'appréhension et la notion de réputation peuvent nuire à l'objectivité.
Edité pour la dernière fois le 03/08/2011 à 03:31:16.
sriden - Publié le 28/05/2011 à 20:16:52

J'ai Un Gros
Ambassadeur
322 messages
Très bon topo.
(donc Flaco pourra jamais être testeur)
trotter - Publié le 29/05/2011 à 14:15:11


Membre
58 messages
Citationpas loin de 99% des sujets ont prouvés que certains phénomène amènent à une notation subjective.

Je vois pas trop comment échapper à une évaluation subjective à moins d'avoir une liste de critères ultra stricts et des cases à cocher ou à remplir de chiffres.

Quelle pourrait être cette liste pour un jeu RM ?

Durée du jeu (1h43) ;
Nombre de bugs bloquants trouvés (2) ;
Nombre de ressources différentes utilisées (745) ;
Nombres de fautes (131) ;
...

Des questions du type :
"Est-ce que les objectifs sont indiqués clairement ?" "Est-ce que les graphismes sont cohérents ?" "Est-ce que la difficulté est équilibrée ?" sont vachement plus intéressantes mais les réponses sont évidemment subjectives.

Mais ce n'est pas grave, si un jury a été constitué c'est pour avoir veut des interprétations personnelles : en effet, il ne sert à rien de vouloir plusieurs avis différents si on court après l'objectivité (autant faire analyser le jeu par un programme).

Donc soyez subjectif, c'est encouragé !
*sifflote*
Edité pour la dernière fois le 29/05/2011 à 14:34:27.
Rockeur - Publié le 29/05/2011 à 17:55:35


Pomme de terre
1875 messages
trotter a écrit :
Citationpas loin de 99% des sujets ont prouvés que certains phénomène amènent à une notation subjective.

Je vois pas trop comment échapper à une évaluation subjective à moins d'avoir une liste de critères ultra stricts et des cases à cocher ou à remplir de chiffres.

Quelle pourrait être cette liste pour un jeu RM ?

Durée du jeu (1h43) ;
Nombre de bugs bloquants trouvés (2) ;
Nombre de ressources différentes utilisées (745) ;
Nombres de fautes (131) ;
...

Des questions du type :
"Est-ce que les objectifs sont indiqués clairement ?" "Est-ce que les graphismes sont cohérents ?" "Est-ce que la difficulté est équilibrée ?" sont vachement plus intéressantes mais les réponses sont évidemment subjectives.

Mais ce n'est pas grave, si un jury a été constitué c'est pour avoir veut des interprétations personnelles : en effet, il ne sert à rien de vouloir plusieurs avis différents si on court après l'objectivité (autant faire analyser le jeu par un programme).

Donc soyez subjectif, c'est encouragé !
*sifflote*



la subjectivité dont je parle, c'est en rapport avec ce que je dit dans mon post! Certains phénomènes peuvent amener un évaluateur à mal évaluer... ces phénomène, je les cites (et y'en a d'autres encore mais bon)
La subjectivité dont je parle est une forme de subjectivité que l'on retrouve autant dans une copie de math ou de français, ou dans l’évaluation d'un tableau ou d'un jeu vidéo, mais je ne parle pas de la même subjectivité que tu évoques... c'est pas à moi que tu vas apprendre ce que tu viens de dire, tout simplement car ça coule de source quoi.. (je me sent limite insulté :x )

en d'autres terme, je suis parfaitement d'accord avec toi mais on ne parle pas de la même chose: il est évident qu'on ne peut pas évaluer un jeu de façon parfaitement objective car chacun ses goûts, mais on ne parle pas de la même "subjectivité"

je parlerais d'une subjectivité "personnelle", "par rapport à soi-même":
Une même personne peut donner une note différente à une même copie de math en fonction de son environnement, de sa situation, de son humeur... c'est de ça dont je parle!
Edité pour la dernière fois le 29/05/2011 à 17:57:09.
trotter - Publié le 30/05/2011 à 10:09:26


Membre
58 messages
Ah bon, je croyais que tu courrais après l'objectivité.

Faut ajouter que quand tu fait remarquer que 99% des sujets on prouvés que les notations sont subjectives (ça alors !) ou que quand tu dis que le juge doit être objectif ça peut tromper.

La subjectivité par rapport à soi même...? Hmm...

"Une même personne peut donner une note différente à une même copie de math en fonction de son environnement, de sa situation, de son humeur... c'est de ça dont je parle!"
Tout à fait, et c'est normal, c'est humain. C'est ça la subjectivité, pas vrai ? C'est ça qui fait que certains vont mettre une bonne note à Vader, parce qu'ils étaient dans un bon état d'esprit pour rigoler (humeur), parce qu'ils avaient du temps devant eux ont eu aussi la patience de lire les dialogues (situation), parce qu'ils ont testé sur un écran 22 pouces qui rend super bien les pixels pour mettre en valeur le travail graphique custom (environnement).


Je suis d'accord avec tes conseils, essayer de faire une seule évaluation globale, càd mettre les notes à la fin, et pas différentes petites.

De toute façon c'est plutôt les commentaires qui sont intéressants, et ils sont saisi pendant le jeu, puis une fois les jeux terminés la note découle de ces commentaires, non ? Ca me semblerait être le plus logique (et évidemment, pas des commentaires du type "ce jeu est bon", "les graphismes sont moches", on est d'accord, mais plutôt "proposer ça au joueur est une erreur de game design car...", "les graphismes ne sont pas bien harmonisés, par exemple certains éléments ont des contours noirs alors que...").
Rockeur - Publié le 30/05/2011 à 21:01:19


Pomme de terre
1875 messages
Citation"Une même personne peut donner une note différente à une même copie de math en fonction de son environnement, de sa situation, de son humeur... c'est de ça dont je parle!"
Tout à fait, et c'est normal, c'est humain. C'est ça la subjectivité, pas vrai ? C'est ça qui fait que certains vont mettre une bonne note à Vader, parce qu'ils étaient dans un bon état d'esprit pour rigoler (humeur), parce qu'ils avaient du temps devant eux ont eu aussi la patience de lire les dialogues (situation), parce qu'ils ont testé sur un écran 22 pouces qui rend super bien les pixels pour mettre en valeur le travail graphique custom (environnement).


Il est tout de même possible de se rendre compte de cet état et d'essayer de le contrer un peu pour être un peu plus impartial, d'où ce topic :p
J'irais pas jusqu'à dire que c'est ça qui a fait gagné valder, et j'ai bien une hypothèse mais tfaçon jpeux pas trop dire, cette session a été tellement silencieuse qu'au final je ne saurais trop m'exprimer tfaçon



CitationDe toute façon c'est plutôt les commentaires qui sont intéressants, et ils sont saisi pendant le jeu, puis une fois les jeux terminés la note découle de ces commentaires, non ? Ca me semblerait être le plus logique (et évidemment, pas des commentaires du type "ce jeu est bon", "les graphismes sont moches", on est d'accord, mais plutôt "proposer ça au joueur est une erreur de game design car...", "les graphismes ne sont pas bien harmonisés, par exemple certains éléments ont des contours noirs alors que...").


Ce que je dit s'appliquent aussi sur les commentaires que l'on peut donner.
Je dirais que je parle de l'évaluation en général (les commentaires y compris) (merci de me faire reformuler, j'éditerais)
mais après je parle de tout ça, la variation n'est pas énorme non plus mais bon, je pense que lire ça, le savoir, peut aider a être plus objectif (terme a prendre avec des pincettes :p )

Edité pour la dernière fois le 30/05/2011 à 21:02:13.

Vous souhaitez donner votre avis sur ce sujet ? Connectez-vous à votre compte, ou créez-vous un compte !