Résultats du grand concours de chasse au Wumpus

[Lionel Debroux]

mdr1: critor, Adriweb et Levak ont en effet, comme ils l'ont expliqué en détail (ça serait resté entre admins de TI-Planet si tu n'avais pas sur-réagi et qu'ils aient dû se défendre), passé beaucoup de temps à tenter de faire fonctionner ton IA dysfonctionnelle, de manière à pouvoir l'évaluer aussi justement que possible (je te rappelle que tu fais partie de ceux qui avaient félicité critor de prendre du temps pour faire une évaluation la plus juste possible).
Bref, estime-toi heureux d'être 6ème et non dernier, derrière TI-Bot... oui, car même l'IA aléatoire fait quelque chose sur les graphes plus grands, et pour l'IA aléatoire, il n'avait pas fallu modifier le code d'évaluation pour que ton algorithme puisse s'exécuter (ce qui t'aurait valu un zéro pointé dans nombre de concours, à n'en pas douter).
Ton comportement en réaction à l'annonce des résultats est vraiment décevant, et très certainement démotivant pour critor, Levak et Adriweb...

Extra44 fait bien de rappeler les règles qui ont été là dès le départ. Nous avons évalué, comme annoncé dès le départ, avec le premier critère sur le taux de réussite, et le deuxième critère (pour départager d'éventuels ex-aequo) sur le nombre moyen de coups.

[critor]

Et l'option d'un émulateur à faire fonctionner en vitesse fois 2000% aurait tout à fait été envisageable, pour évaluer mon IA avec du 30. Sans compter que les règles ne précisaient nulle part que l'IA devait être optimisée en vitesse

Ça a été le cas, hein, pour le_solutionneur et toi-même sur lesquels nous avons dû lancer vos algos sur des i7 qui tournaient toute la nuit à 90°C (car un script faisait bouger la souris pour aller plus vite). C'était déjà un très beau geste de notre part de sacrifier ces machines pendant 2-3 jours alors que toutes les autres IA tournaient sans problème oncalc (cf les clusters de Critor).
Donc estimes toi déjà heureux de pas avoir eu 0 à tous les graphes excepté le premier.

Concernant le solutionneur, le problème venait des fonctions de debug (print):
- sur le logiciel, les print ralentissent énormément
- sur calculatrice normalement non, mais leurs paramètres, dans son cas de monstrueux tableaux, sont quand même évalués.

Nous avons simplement commenté toutes ces instructions, afin de rendre cette IA évaluable sans en changer le fonctionnement interne.


Concernant mdr1, c'est bien le code interne à l'IA qui est défectueux et a une consommation exponentielle de la mémoire.
Le modifier pour nous, c'est faire le travail du candidat à sa place... donc, non.

[critor]

@Mdr1: je puis comprendre que tu sois déçu.

Mais comme dit plus haut, on a déjà du littéralement se battre *contre* ton IA afin de pouvoir l'évaluer.
Elle a fait l'objet d'un traitement particulier de notre part, je dirais même à la limite du privilégié.

On s'est cassé la tête dessus pendant des heures en plus du temps machine.



Nous ne pouvions pas faire mieux que ça.

Tente toi-même de la faire tourner telle que publiée sur une machine overclockée munie de beaucoup de SDRAM sur l'émulateur ou le logiciel TI-Nspire, et fournis-nous une capture de centaines de milliers de parties (comme les autres) en n=20 si tu en es capable.

On attend

En théorie, tu auras besoin de plusieurs semaines ou même mois... En pratique, le logiciel ou l'émulateur planteront bien avant.

[Lionel Debroux]

mdr1, je te laisse nous présenter publiquement tes excuses pour la façon dont tu as réagi à ce topic
Par ailleurs, je t'invite (mais je ne t'oblige pas) à nous montrer cette fameuse IA à 95% de réussite que tu as mentionnée dans l'autre topic. Bien sûr, il faut la débarrasser du problème d'implémentation qui fait ralentir et crasher l'interpréteur Lua.

[critor]

mdr1, je te laisse nous présenter publiquement tes excuses pour la façon dont tu as réagi à ce topic
Par ailleurs, je t'invite (mais je ne t'oblige pas) à nous montrer cette fameuse IA à 95% de réussite que tu as mentionnée dans l'autre topic. Bien sûr, il faut la débarrasser du problème d'implémentation qui fait ralentir et crasher l'interpréteur Lua.

Aucune IA ne franchit la barre des 90% après convergence sur plusieurs centaines de milliers de parties.

Sur un échantillon de parties trop faible quand il n'y a pas encore eu convergence (quelques centaines, milliers, voir dizaines de milliers de parties), il est bien évidemment possible et normal d'avoir un pourcentage plus grand ou plus petit de quelques unités par rapport à la valeur théorique finale.

[AnToX98]

Je trouve aussi que c'est un peu méchant, surtout que moi j'ai du bosser moins de 4 heures sur ce concours, alors que mdr1, comme il le dit, s'est penché dessus pendant plusieurs jours. Il mérite donc plus la 5ème place que moi.

[Lionel Debroux]

Ce qui est fait est fait, mais sa réaction inappropriée m'a convaincu qu'il mériterait plutôt la 12ème place en fin de compte.
Il fait un programme qui ne fonctionne tellement pas qu'il faut modifier le code d'évaluation spécialement pour lui, il faut faire tourner les machines et le computer software pendant des jours pour tenter de l'évaluer quand même... et malgré ça, quand le résultat ne correspond pas à ses attentes (ce qu'on peut comprendre, il y avait passé du temps et pensait avoir fait quelque chose de bien), il trouve le moyen de se plaindre d'être au milieu du classement (grâce au fait que quand il fonctionne, son algorithme donne de bons résultats), déclenchant ainsi la publication d'éléments bien plus détaillés que prévu sur les raisons qui ont pénalisé son programme (on ne cherche pas à enfoncer les candidats dans les annonces de résultats, question d'éthique). Il ne faut pas exagérer.

Dans l'organisation des concours, nous essayons de tirer parti du retour d'expérience. J'imagine que la prochaine fois qu'on fait un concours d'algorithmie, il faudra être encore plus clair sur certains points. Par exemple, le fait que les soumissions doivent pouvoir être évaluées avec le logiciel d'évaluation prévu (ça n'empêche pas de reporter des problèmes avant, comme ça a été le cas cette fois-ci, et nous en remercions les candidats), sans modifications, et que les "juges" pénaliseront à leur guise les programmes qui ne respectent pas cette règle ?

[critor]

Je trouve le mot 'méchant' fort inapproprié ici.
Si on est méchant avec tout ce que l'on a bataillé pour évaluer son IA défectueuse...



Tu as fourni une IA qui a marché direct, et résout tous les types de problèmes qu'on lui soumet.

Mdr1 a fournit une IA que l'on a dû corriger (même si il n'a pas été pénalisé pour ça), qui s'en sort certes mieux que toi en n=10 mais qui explose la mémoire de l'ordinateur sur n=20 et n=30.
Donc le 0% sur ces types de graphes est mérité - et on a bien dit dès le départ que l'on testerait au delà de n=10.


Lui mettre un score supposé autre que 0% sur ces graphes, c'est ça qui aurait été totalement inéquitable et injuste par rapport aux autres candidats.

Car si vous regardez bien le diagramme, certaines IA se croisent en performances quand on augmente la difficulté.
Mdr1 aurait-il donc fait en n=20 pareil, mieux ou mieux bien?

Personne ne le sait, et comme son code consomme exponentiellement la mémoire, il faudrait disposer d'un temps infini et d'une machine à mémoire infinie pour l'évaluer.


Il n'y a ici aucune méchanceté, juste le soucis d'être justes et équitables.
Malgré tout le respect et l'estime que nous avions envers mdr1, nous ne l'avons pas avantagé dans les scores. Nous étions d'ailleurs fort déçus de sa production - il était capable de faire bien mieux que ça.

Après, si tu veux échanger ton lot avec le sien, ça te regarde et tu te débrouilles avec lui.

[AnToX98]

Oui du point de vue sentimental, c'est injuste, mais du point de vue du concours, c'est totalement juste.

[critor]

Si il a passé plus de temps que toi pour produire un code moins bon, je n'y peux strictement rien.


Là, tu touches la frontière philosophique entre l'égalité et l'équité - c'est bien

Un "concours" n'est pas un examen. Son but est donc d'être équitable et non égalitaire.