Page 1 of 2

CP6 - Championnat des Pythons : performances

Unread postPosted: 27 May 2018, 11:27
by critor
Championnat des Pythons 2018
Course des Pythons n°6
Performances


Bienvenue au grand Championnat des Pythons 2018. Pour la rentrée 2018, trois modèles de calculatrices graphiques autorisées aux examens et concours proposent ou proposeront la programmation en langage Python :
  • NumWorks
  • HP Prime
  • Casio Graph 90+E

Aujourd'hui dans cette sixième Course des Pythons, voyons ensemble ce que valent ces différentes solutions niveau performances d'exécution de scripts.

Par souci d'équité, le test ne concernera pas l'affichage graphique, la Graph 90+E ne disposant pas à ce jour d'un module graphique. Par souci de réalisme, il ne concernera pas non plus l'affichage de textes et nombres, les scripts en pratique ne réalisant qu'un affichage final en fin de calcul.

Prenons donc plutôt un test de performances de calcul avec le script suivant :
Code: Select all
def seuil(m):
  n=0
  u=2.
  while abs(u-1)>=m:
    n=n+1
    u=1+1/((1-u)*(n+1))
  return [n,u];

La ligne d'appel sera seuil(0.005).

9586Sur la NumWorks et son processeur 32-bits ARMv7 100MHz, notre script arrive à fournir alors le résultat en seulement 2,41s ! :bj:

La HP Prime dispose quant à elle d'un processeur 32-bits ARMv5 de fréquence inconnue. Plusieurs sites parlent d'une fréquence de 400 MHz, mais à la différence il s'agit de la fréquence nominale de la puce. Nous n'avons à ce jour aucune information fiable sur la fréquence réelle, possiblement inférieure pour économiser la batterie.

Quoiqu'il en soit, les performances sont absolument désastreuses, le même script nécessitant ici 1min17s soit presque 32 fois plus de temps ! :mj:

On pourrait incriminer une fréquence réelle très inférieure à la fréquence nominale mise en avant donc de façon commerciale. Le fait que la HP Prime ne dispose pas d'un véritable interpréteur Python mais effectue en interne une traduction (imparfaite) de la syntaxe Python vers celle de son langage intégré a peut-être à voir avec l'effondrement des performances. Le fait que cette fonctionnalité ne soit disponible que dans le contexte CAS avec un moteur de calcul donc possiblement beaucoup plus lourd également.

Enfin la Casio Graph 90+E est équipée d'un processeur 32-bits SH-4 à 118 MHz, certes overclockable à 275 MHz. Pour être représentatif de ce que la majorité des utilisateurs obtiendra, le test a bien évidemment été réalisé sur machine non overclockée.

La machine que nous avons testée lors de la tournée pédagogique Casio mercredi 16 mai à Toulouse a réussi le triste exploit de battre le record de lenteur de la HP Prime avec pas moins de 2min35.2s pour le même résultat ! :mj:

Notons que Planète Casio a réalisé des tests complémentaires le mercredi 23 mai à Lyon, a de même été très déçu des performances et a même remarqué des performances inférieures à celles du langage interprété historique de la machine (Casio Basic).

Aucune idée du problème ici, d'ailleurs très surprenant vu que le matériel est comparable et que la technologie logicielle utilisée est la même que chez NumWorks (Micropython), et n'a donc rien à voir avec celle de la HP Prime. Espérons que Casio saura améliorer cela d'ici la rentrée.

Image

A bientôt pour une autre Course des Pythons ! ;)

Re: CP6 - Championnat des Pythons : performances

Unread postPosted: 27 May 2018, 12:19
by puppy65
critor wrote:Par soucis d'équité, le test ne concernera pas l'affichage graphique, la Graph 90+E ne disposant pas à ce jour d'un module graphique.


Hein ? C'est une blague ? :'(:

Re: CP6 - Championnat des Pythons : performances

Unread postPosted: 27 May 2018, 12:35
by critor
Non :
Image

Re: CP6 - Championnat des Pythons : performances

Unread postPosted: 27 May 2018, 12:48
by Adriweb
Peut-être une build micropython de debug pour ces version d'OS de test là... En espérant que si c'est le cas, ils passeront à une build optimisée d'ici la rentrée :P

Re: CP6 - Championnat des Pythons : performances

Unread postPosted: 27 May 2018, 13:28
by jean-baptiste boric
Pour Casio, il est également possible que MicroPython n'utilise pas des nombres à virgule flottante IEEE 754 classiques mais réutilise plutôt le moteur de calcul en virgule flottante déjà existant dans le firmware, le code source de MicroPython permettant d'intégrer une implémentation tierce relativement facilement. J'ignore la précision et l'étendue des nombres que le moteur de calcul Casio supporte, mais un moyen de vérifier est d'essayer d'entrer 1,7x10^308 et 1,8x10^308 dans le shell Python. Avec Numworks qui utilise des double dans MicroPython, le premier nombre est accepté, le second est converti en inf.

Pour HP, vu que c'est giac qui interprète le code Python, c'est vraiment pas étonnant que NumWorks soit plus rapide ici. On compare un MicroPython travaillant avec des nombres flottants IEEE 754 à un moteur CAS, ce n'est pas étonnant que le moteur CAS soit bien plus lent en rapidité de calcul brut quand on compare deux plateformes ayant grossièrement le même ordre de grandeur en puissance CPU brute.

Re: CP6 - Championnat des Pythons : performances

Unread postPosted: 27 May 2018, 15:29
by Lionel Debroux
C'est sûr que là, pour les performances, il n'y a pas du tout photo...

Re: CP6 - Championnat des Pythons : performances

Unread postPosted: 27 May 2018, 15:32
by Adriweb
Peut-être que sur la Prime, le moteur CAS pourrait passer dans un mode numérique un peu forcé partout, d'une manière ou d'une autre, pour aller plus vite ?

Re: CP6 - Championnat des Pythons : performances

Unread postPosted: 27 May 2018, 20:20
by critor
jean-baptiste boric wrote:Pour Casio, il est également possible que MicroPython n'utilise pas des nombres à virgule flottante IEEE 754 classiques mais réutilise plutôt le moteur de calcul en virgule flottante déjà existant dans le firmware, le code source de MicroPython permettant d'intégrer une implémentation tierce relativement facilement.


J'y avais pensé, mais la partie décimale des résultats affichés ne fait apparaître de spécificité pour la Graph 90+E (juste pour la HP Prime).

Re: CP6 - Championnat des Pythons : performances

Unread postPosted: 28 May 2018, 06:59
by parisse
A mon avis, c'est parce que la Numworks a une FPU, ce qui n'est peut-etre pas le cas chez Casio ou bien ca n'a pas ete active dans le build micro-python de developpement.

Re: CP6 - Championnat des Pythons : performances

Unread postPosted: 28 May 2018, 21:34
by zardam
La Numworks a bien une FPU, mais uniquement simple précision, et Micropython est compilé avec le support des doubles, elle ne doit donc pas être d'une très grande utilité.