Résultats du grand concours de chasse au Wumpus

[totoyo]

Félicitations aux participants et aux organisateurs de ce super concours !

[critor]

Merci

Je ne t'ai pas oublié et parlerai probablement de votre concours pour ce week-end
Je pense que ce sera le meilleur timing pour vous.

[mdr1]

Bon, je n'ai pas envie de pourrir le topic, donc je m'en arrêterai au message sous cache que voici. D'ailleurs, à chaque fois que j'en citais un pour lui répondre, un autre répondait, donc pas moyen, donc mes citations s'arrêtent au bout d'un moment (sans compter les éditions de message, qui, au passage, ne sont bizarrement pas indiquées en bas de message).

Ensuite, il ne me semble pas avoir manqué de respect à qui que ce soit, j'ai juste montré ce en quoi j'étais fâché, et c'est tout. Et j'ai complimenté ce super concours. Désolé toutefois si certains de mes propos ont été blessants. Mais j'ai également été blessé sur les points suivants :

• Se mettre à plusieurs pour m'écrire de gros pavés en plusieurs exemplaires.
• Extrapoler mes propos.
• Faire comme si je n'avais fait aucun effort alors que je me suis fortement retenu de beaucoup de choses.

(Et je sens qu'on va me répondre à cette liste par une liste gigantesque et inutile, car je sais me mettre à la place des autres et je sais le mal que vous vous êtes donnés).

Bref, voici le pavé de retour :

Show/Hide spoilerAfficher/Masquer le spoiler

Et l'option d'un émulateur à faire fonctionner en vitesse fois 2000% aurait tout à fait été envisageable, pour évaluer mon IA avec du 30.

Je t'invite à nous montrer comment réaliser ceci
(en pratique, pas en théorie).

Et même tout simplement, si tu arrives à aller plus vite que TINCS tout court, en fait.


Certains essais lancés à part pendant plus de 72h n'ont rien donné.... on a à peu près tout essayé

Ah. Bah déjà, c'est super si vous avez tout essayé. Moi, j'utilisais kArmTI_v40, mais qui tournait à 30% tant mon PC est lent. Mais bon, dans ce cas, on se ramène au reste de mes propos.

Ça a été le cas, hein, pour le_solutionneur et toi-même sur lesquels nous avons dû lancer vos algos sur des i7 qui tournaient toute la nuit à 90°C (car un script faisait bouger la souris pour aller plus vite). C'était déjà un très beau geste de notre part de sacrifier ces machines pendant 2-3 jours alors que toutes les autres IA tournaient sans problème oncalc (cf les clusters de Critor).
Donc estimes toi déjà heureux de pas avoir eu 0 à tous les graphes excepté le premier.

Pour ce qui est des règles vis à vis qu'il fallait des graphes évaluables pour chaque candidats, disons que les premiers ne pouvaient pas facilement être départagés, donc on a poussé les IA dans leur retranchement. C'était pas un concours de vitesse, mais pas de lenteur non plus !

C'est sûr que me mettre 0 point, ça permet de départager relativement rapidement... Bon, je n'ai pas du tout dit que vous n'avez rien essayé, bien au contraire, je suis persuadé que vous avez fait ce que vous pouviez. Mais mon IA n'était clairement pas exagérément lente, elle était même optimisée sur certains points (pour éviter d'être exponentielle en matière de complexité, le calcul de trajectoire empêchait de calculer les inutiles). Et mettre 0 point, faute de solution, n'était clairement pas dans les règles (et cela aurait peut-être dû y être rajouté, en indiquant certaines valeurs de n, d, p - pensez-y la prochaine fois ). Une alternative pour départager était le nombre de coups moyen.

Mdr1: c'était bien marqué que les tests seraient fait sur de gros labyrinthes.
Topic viewtopic.php?f=43&t=12532#p144685

Modalités d'évaluation:
Vos IA seront évaluées à l'aide des statistiques sur un grand nombre de parties dans de gros labygraphes, c'est-à-dire:
le pourcentage de succès
le nombre de coups moyen.

Effectivement, tu as raison. Mais "gros" reste tout de même subjectif, et aucun temps de calcul n'est donné.

Les autres IA sont clairement meilleures et je trouve que tu es donc à ta place.

Je viens de montrer que non. oo

Ton IA a fait l'objet d'une attention toute particulière de notre part.

Je te rappelle que nous avons corrigé le code de l'interface afin de pouvoir évaluer ton IA, car elle déclenchait des erreurs dans le script Lua (c'est la seule avec ce problème).

Ton IA a été évaluée à part des autres sur le logiciel Nspire pour ordinateur, car les problèmes commençaient très tôt.

On a du vraiment se battre énormément pour pouvoir t'évaluer,

Entièrement d'accord, et je vous en remercie.

et je trouve donc ta remarque fort ingrate.

Là, par contre, je ne suis pas. Je n'ai que fait indiquer en quoi je suis déçu, rien de plus ? Je t'ai même complimenté sur le mal que tu t'es donné.

Ton IA, j'ai l'impression, stocke la totalité du chemin parcouru, y compris avec des boucles et répétitions de salles. Elle utilise donc, et de façon inutile, de plus en plus de mémoire à chaque coup, ce qui donne un espace de déduction de plus en plus complexe.

Sauf erreur de ma part (bug introuvable), ceci est faux, aucun chemin parcouru n'est stocké. Le chemin à parcourir, oui, mais il est supprimé immédiatement après. Et comme dit un peu plus haut, le calcul ne reboucle pas inutilement. Donc ce n'est pas exponentiel. Et la quantité de mémoire utilisée est plus que majorée par le carré du nombre de salles (CF la fonction HypTrous.rafraichir(), à partir du commentaire disant "-- Enlever les groupes inutiles (qui contiennent un autre groupe)", qui permet d'éviter de dépasser un certain niveau de complexité). Mais après, il est vrai que les faits sont les faits : mon IA est lente (inutile de contredire la vérité avec de résultats théoriques). Mais pas exponentielle.

En pratique, elle ralentit à chaque coup, et finit par exploser la mémoire disponible:
- blocage ou redémarrage de la TI-Nspire
- plantage du logiciel TI-Nspire

Peut-être que les tables non référencées ne sont pas automatiquement libérées ? Parce que là, je ne comprends pas pourquoi... ou j'ai oublié un stupide détail.

De plus, critor, tu avais bien précisé les règles sur le chat, en disant que tu ne choisirais que des graphes où toutes les IA sont évaluables.

On t'a fourni une interface où n pouvait allait jusqu'à 99. Il n'a jamais été question de se limiter à n=10.
De plus, il a été dit dès le départ que nous testerions sur de gros graphes.

Oui, mais tu as dit que tu ne choisirais que des graphes où toutes les IA sont évaluables. Et clairement, 20/20/20, c'est déjà bien. Et 30 n'est pas spécialement plus gros que 20.

Et l'option d'un émulateur à faire fonctionner en vitesse fois 2000% aurait tout à fait été envisageable, pour évaluer mon IA avec du 30.

Comme dit plus haut, c'est bien ce qui a été fait.
Tu nous prends pour qui ?
As-tu seulement testé ce que tu exiges?
Ton IA a été évaluée de façon privilégiée sur un logiciel Nspire disposant de bien plus de ressources qu'une simple calculatrice,

Ok, ok, ça a déjà été dit, et c'est fort aimable de votre part. Merci.

et tu arrives quand même à les gaspiller.
Ton IA a une consommation exponentielle de la mémoire disponible, c'est tout, et met donc rapidement à genoux n'importe quelle machine.

Exponentielle, non. Lente, apparemment, oui. Mais 20/20/20 me paraît satisfaisant pour évaluer.

Sans compter que les règles ne précisaient nulle part que l'IA devait être optimisée en vitesse, et que l'on aurait 0 point si elle ramait avec un labyrinthe plus grand que celui suggéré en capture.

Il ne s'agit pas de vitesse, sinon on aurait pris une semaine de plus pour ton IA.
Ton IA n'est pas lente mais défecteuse et donc non évaluable: elle plante le logiciel Nspire et fait redémarrer les calculatrices. Ce n'est hélas pas un problème de temps.

C'est donc un problème de mémoire, alors. Ah mais tiens, je viens de comprendre. Ne serait-ce pas l'affichage de debug en console qui la surcharge en mémoire ? A priori non, vu que vous ne devez pas avoir activé cette fonctionnalité... Très bizarre, en tout cas. En plus, j'utilise un table.remove pour alléger ma table d'hypothèses sur les trous.

Concernant mdr1, c'est bien le code interne à l'IA qui est défectueux et a une consommation exponentielle de la mémoire.

Ah, ok, ce n'est donc pas la console (moi aussi, j'avais de l'affichage de debug avec des print).

@Mdr1: je puis comprendre que tu sois déçu.

Merci, ça me fait vraiment chaud au cœur. (non ironique, hein)

Et merci à AnToX98 de m'avoir compris.

Et voici un énorme pavé pour résumer la situation :

Show/Hide spoilerAfficher/Masquer le spoiler

OSEF le pavé ! On ne va pas se battre pour un concours !
J'ai juste passé deux semaines sur mon programme et étais donc hyper déçu, c'est tout.
Et vous, vous étiez déçus par ma réaction malgré le mal que vous vous étiez donné.

EDIT : Je pense après coup que j'ai exagéré sur la liste à puces.

[Levak]

Tu as l'air si sûr de toi, mais as-tu testé ce que tu nous avais envoyé ?
Tu as l'air de dire que ton IA tourne sur kArmTI à 30%, mais jusqu'à combien de partie ? Le minimum évaluable était de 50K, afin de ne pas fausser les pourcentages...
Si pour 50K tu ne passes pas 20/20/20 en 3 jours (ce qui était le cas), on laisse tomber plus haut, sinon les résultats seraient tombés dans 3 mois !

Quelle note "juste" à part 0 aurais-tu voulu que l'on te mette pour ne pas pénaliser les autres IA avec des pourcentages obtenus sur moins de parties que les autres ?

Et non, je ne vois pas en quoi on aurait dû mettre les détails d'évaluation dans le règlement. De plus, ça aurait changé quoi ? Car visiblement on ne parle pas de ta même IA, celle que tu nous as envoyée va bien exponentiellement en lenteur.

[critor]

Bon, je n'ai pas envie de pourrir le topic, donc je m'en arrêterai au message sous cache que voici. D'ailleurs, à chaque fois que j'en citais un pour lui répondre, un autre répondait, donc pas moyen, donc mes citations s'arrêtent au bout d'un moment (sans compter les éditions de message, qui, au passage, ne sont bizarrement pas indiquées en bas de message).
[spoiler]

Et l'option d'un émulateur à faire fonctionner en vitesse fois 2000% aurait tout à fait été envisageable, pour évaluer mon IA avec du 30.

Je t'invite à nous montrer comment réaliser ceci
(en pratique, pas en théorie).

Et même tout simplement, si tu arrives à aller plus vite que TINCS tout court, en fait.


Certains essais lancés à part pendant plus de 72h n'ont rien donné.... on a à peu près tout essayé

Ah. Bah déjà, c'est super si vous avez tout essayé.

En effet, je peux t'assurer qu'on a dépensé une énergie énorme pour évaluer ton IA.
Elle a eu droit au logiciel TI-Nspire qui est beaucoup plus rapide et a plus de ressources que la calculatrice ou son émulateur.

C'est d'ailleurs grâce à ça que tu as un score en 20/20/20.

Ça a été le cas, hein, pour le_solutionneur et toi-même sur lesquels nous avons dû lancer vos algos sur des i7 qui tournaient toute la nuit à 90°C (car un script faisait bouger la souris pour aller plus vite). C'était déjà un très beau geste de notre part de sacrifier ces machines pendant 2-3 jours alors que toutes les autres IA tournaient sans problème oncalc (cf les clusters de Critor).
Donc estimes toi déjà heureux de pas avoir eu 0 à tous les graphes excepté le premier.

Pour ce qui est des règles vis à vis qu'il fallait des graphes évaluables pour chaque candidats, disons que les premiers ne pouvaient pas facilement être départagés, donc on a poussé les IA dans leur retranchement. C'était pas un concours de vitesse, mais pas de lenteur non plus !

C'est sûr que me mettre 0 point, ça permet de départager relativement rapidement...[/quote]
Je ne vois pas en vertu de quoi on aurait pu te mettre une autre note arbitraire, sans désavantager d'autres candidats.

Mais mon IA n'était clairement pas exagérément lente, elle était même optimisée sur certains points (pour éviter d'être exponentielle en matière de complexité, le calcul de trajectoire empêchait de calculer les inutiles).

Tu n'as pas du lire les explications que j'ai données, alors je reprends.

Ton IA est rapide sur les parties qui ne durent pas.
Sur les parties qui durent et dépassent 8 coups (en n=20 c'est fréquent), ça commence à se ressentir douloureusement.
En effet, ton IA a une croissance exponentielle de l'utilisation mémoire, ce qui d'une part la ralentit.

Mais il aurait été injuste de la pénaliser pour lenteur, alors que l'on a corrigé le problème de lenteur chez d'autres.
Le problème est ailleurs comme dit plus haut: même en la faisant tourner pendant des jours/semaines/mois, il est impossible d'avoir des résultats car elle explose les ressources mémoire ce qui provoque le redémarrage de la calculatrice ou le plantage du logiciel.
Tu n'es pas pénalisé pour lenteur.

Et mettre 0 point, faute de solution, n'était clairement pas dans les règles (et cela aurait peut-être dû y être rajouté, en indiquant certaines valeurs de n, d, p - pensez-y la prochaine fois ). Une alternative pour départager était le nombre de coups moyen.

Ben si tu nous rend un truc non évaluable, tu veux que l'on fasse quoi?
Te mettre une note arbitraire est hors de question. On aurait pu ne pas te noter, mais ça revenait à te disqualifier.

Le nombre de coups moyen est comptabilisé dans le "score jury" de chaque type de graphe et ne change rien dans ton cas.

[critor]

Mdr1: c'était bien marqué que les tests seraient fait sur de gros labyrinthes.
Topic viewtopic.php?f=43&t=12532#p144685

Modalités d'évaluation:
Vos IA seront évaluées à l'aide des statistiques sur un grand nombre de parties dans de gros labygraphes, c'est-à-dire:
le pourcentage de succès
le nombre de coups moyen.

Effectivement, tu as raison. Mais "gros" reste tout de même subjectif, et aucun temps de calcul n'est donné.

Tu pouvais te douter que l'on testerait au moins n=20, avec une interface dont le curseur pouvait varier de 3 à 99 et était à 10 par défaut.

Encore une fois, tu n'as pas bien lu ci-dessus.
Ce n'est pas un simple problème de temps - c'est bien plus grave que ça: ton IA nécessite un temps et des ressources infinies.

Les autres IA sont clairement meilleures et je trouve que tu es donc à ta place.

Je viens de montrer que non. oo

Tu préfèrerais donc une fusée qui va plus vite mais explose en vol, à une fusée qui va deux fois moins vite mais n'explose pas?

[critor]

Ton IA, j'ai l'impression, stocke la totalité du chemin parcouru, y compris avec des boucles et répétitions de salles. Elle utilise donc, et de façon inutile, de plus en plus de mémoire à chaque coup, ce qui donne un espace de déduction de plus en plus complexe.

Sauf erreur de ma part (bug introuvable), ceci est faux, aucun chemin parcouru n'est stocké. Le chemin à parcourir, oui, mais il est supprimé immédiatement après.

Je n'ai pas eu le temps de l'analyser en détail, mais je t'ai décrit exactement les symptômes.
Après, il est possible que l'évaluateur Lua de la TI-Nspire ne nettoie pas la mémoire, ou la nettoie mal.

Et comme dit un peu plus haut, le calcul ne reboucle pas inutilement. Donc ce n'est pas exponentiel. Et la quantité de mémoire utilisée est plus que majorée par le carré du nombre de salles (CF la fonction HypTrous.rafraichir(), à partir du commentaire disant "-- Enlever les groupes inutiles (qui contiennent un autre groupe)", qui permet d'éviter de dépasser un certain niveau de complexité). Mais après, il est vrai que les faits sont les faits : mon IA est lente (inutile de contredire la vérité avec de résultats théoriques). Mais pas exponentielle.

Moi je t'ai décrit simplement ce que je vois au cours d'une partie.
Il y a ce que tu penses avoir codé d'une part - et ce que la machine fait véritablement d'autre part.

Ton IA ralentit de façon significative à chaque coup.
Au 8ème coup d'une partie, ça commence à être douloureux...
Plus loin, il faut parfois attendre plusieurs minutes pour passer au coup suivant...
Et encore plus loin ça finit par planter la machine et le logiciel.

C'est à cause de ce dernier point que nous la déclarons non évaluable et non à cause de sa lenteur. Pour une simple lenteur, on lui aurait donné une semaine de plus à tourner toute seule sur nos machines. Mais là quelque soit le temps accordé, nous n'aurons pas de résultat.

A partir de n=20 tu arrives à exploser 64Mo de mémoire SDRAM sur machine (et plusieurs centaines de Mo sur ordi) - ce sont les symptômes d'une croissance exponentielle de la mémoire utilisée en fonction du nombre de coups de la partie courante.

[critor]

C'est donc un problème de mémoire, alors. Ah mais tiens, je viens de comprendre. Ne serait-ce pas l'affichage de debug en console qui la surcharge en mémoire ? A priori non, vu que vous ne devez pas avoir activé cette fonctionnalité... Très bizarre, en tout cas. En plus, j'utilise un table.remove pour alléger ma table d'hypothèses sur les trous.

Les instructions de debug ont normalement été commentées.
Le fichier publié est celui qui a servi à l'évaluation, tu peux vérifier.

[Oakwood]

Oakwook :La compétition à été rude ! :
Je confirme! En plus, je ne sais pas si tu as vu hier sur le chat, critor nous a fait languir toute l'après midi d'hier.

Yep, j'ai vu ça. Je bossais avec l'ordi à côté pour avoir les résultats tout chauds sortis du four. J'ai vu critor partir manger, revenir, demander une petite heure, puis 20 min de rab, puis encore 5 min... Nous on était à cran pour les résultats, mais je crois que vous lui avez mis une sacrée pression pour cette news. ^^

[mdr1]

Les instructions de debug ont normalement été commentées.
Le fichier publié est celui qui a servi à l'évaluation, tu peux vérifier.

Je confirme que les fonctions "print" n'ont pas été commentées. Mais d'un autre côté, ça m'étonnerait que cette fonction fasse quoi que ce soit sur tincs. C'est donc peut-être dû à une histoire de table non libérée de la mémoire alors que plus référencée.