Concours de rentrée 2020 - défi Python du Léviathan

[Pavel]

Merci pour la clarification. Cette nouvelle approche donne à ce défi un nouvel aspect intéressant

On peut par exemple passer de 100'000 à 1'000'000 de simulations.
Il faudra juste compter à la louche une journée d'évaluation pour chacune des IA soumises, et donc peut-être retarder les résultats définitifs de quelques semaines.

Dans la version actuelle avec le script bash qui exécute python pour chaque simulation, la simulation est ralentie d'un facteur 10 en raison du temps qu'il faut à python pour démarrer.

Si les 100'000 simulations pouvaient être exécutées dans la même session python sans redémarrer python, cela accélérera la simulation d'un facteur 10.

Il faut juste trouver une solution pour réinitialiser les variables globales avant chaque simulation.

Je pense que la solution la plus simple serait de demander aux participants de fournir une fonction init() à exécuter avant chaque simulation. Les participants peuvent utiliser cette fonction pour initialiser les variables globales utilisées par la fonction ia().

[critor]

Merci pour ta réponse et ta compréhension.

Mais ça ne me dérange pas de prendre 2-3 semaines de plus pour une meilleure évaluation.
Surtout en cette période, où je ne pourrai de toutes façons pas expédier les lots aussi facilement que l'année dernière. Donc rien ne presse, la probabilité que vous receviez vos prix pour Noël est faible cette année...

Effectivement, on relance Python à chaque fois pour garantir la réinitialisation des variables globales.
Je trouve que ce serait gênant de déléguer cette tâche aux candidats, alors qu'ils n'ont pas tous de quoi tester si cela fonctionne bien, le script fourni n'ayant pas ce mode de fonctionnement. La question serait alors, que fait-on en cas de mauvaise réinitialisation ?...

[cent20]

Moi je ne demande rien de tel, je veux juste que ceux qui sont devant moi soient disqualifiés automatiquement. Rien de plus

[legmask]

Merci pour ta réponse et ta compréhension.

Mais ça ne me dérange pas de prendre 2-3 semaines de plus pour une meilleure évaluation.
Surtout en cette période, où je ne pourrai de toutes façons pas expédier les lots aussi facilement que l'année dernière. Donc rien ne presse, la probabilité que vous receviez vos prix pour Noël est faible cette année...

Effectivement, on relance Python à chaque fois pour garantir la réinitialisation des variables globales.
Je trouve que ce serait gênant de déléguer cette tâche aux candidats, alors qu'ils n'ont pas tous de quoi tester si cela fonctionne bien, le script fourni n'ayant pas ce mode de fonctionnement. La question serait alors, que fait-on en cas de mauvaise réinitialisation ?...

Personnellement, je trouve que c'est déja sufisament bien, on a un score relativement précis, après augmenter encore plsu le nombre d'itération est inutile a mon sens, ca va prendre plus de temps pour pas beaucoup de changement ...
Ca ne reste que mon humble avis

[critor]

On verra à la fin si des IA de participants différents sont trop proches.

[critor]

Le cas des IA déclenchant des exceptions dans certains cas était déjà prévu, et ne bloquait pas l'évaluation.
Tout comme celui des IA errant éternellement sans jamais sortir du volcan.

Les IA qui ne répondent pas dans certains cas (boucle/récursion infinie pouvant être accompagnée d'une explosion de la consommation de ressources) sont maintenant elles aussi gérées.

Leurs statistiques devraient être à jour d'ici demain; cela ne concerne que le participant n°12 pour le moment :
https://tiplanet.org/concours_rentree20 ... &invalid=1

Pour le moment les cas en question sont comptabilisés comme de simples échecs.

[filoji]

Merci Beaucoup Critor... Maintenant je vais devoir attendre, même si quand je teste je n'ai aucuns problèmes
Pourrais-tu me donner des exemples de maps levant cette erreur ? Merci

[critor]

Je n'ai même pas l'exemple, c'est automatisé.

Mais tu peux tester en boucle en faisant varier une graine aléatoire.

En gros dans environ 1 cas sur 1000, ton IA explose.
C'est-à-dire qu'elle ne répond pas, tout en faisant exploser sa consommation de ressources.

Je devine une chaîne d'appels récursifs dans certains cas trop gourmande ou pire infinie, dans le contexte des algos explorant le graphe.

Ce serait d'ailleurs bien si tu pouvais corriger ça, car en dehors de ces cas ton IA semble être l'une des plus efficaces ; je crois qu'elle se classe 2^nde. Ce serait dommage...

[critor]

Histoire de vous motiver à fournir des IA fonctionnelles directement utilisables sans inconvénients par nous ou d'autres, on change légèrement le calcul du score.

On pense à quelque chose comme ça :

• 2 exceptions de l'IA annulent 1 succès (à vous donc de les intercepter au sein de l'IA et d'agir en conséquence pour retourner quelque chose de correct malgré cela)
• 1 non-réponse de l'IA annule 2 succès

Cela ne change exprès rien au classement de ce soir. Mais c'est donc une piste d'amélioration de vos scores à explorer pour les personnes concernées.

Et pour savoir si vous êtes concernés, les exceptions et non-réponses de vos IA sont comptabilisées et affichées dans les détails du classement :
https://tiplanet.org/concours_rentree20 ... &invalid=1

[Pavel]

• Défi du Léviathan (Intelligence Artificielle Python), jusqu'au dimanche 15 décembre 2020 inclus avant minuit heure française (GMT+1)

Je viens de réaliser que le 15 décembre 2020 n'est pas dimanche. Alors je me demande quand est la fin de ce défi. Le 15 novembre ou le 13 décembre?