Orage et désespoir, ou pourquoi je déteste Roromis...

[GalacticPirate]

Je suis tellement noob que je ne comprends pas un mot de ton message, désolé Si je peux aider autrement, je suis partant par contre

[GalacticPirate]

Bon, :RemontePetitTopic:, parce que, bon je sais que vous êtes trop occupés pour vous occuper d'un truc aussi secondaire, mais avez vous avancé ?
Désolé, je ne veux pas vous embêter, mais la survie du projet dépend de vous

[critor]

Alors désolé si on s'était mal compris.


J'ai passé quelques heures à chercher ce qui clochait dans l'outil dans le but de vous débloquer, et vous l'ai apparemment trouvé :

• des modifications html côté Forumactif depuis 2012 qui font donc échouer les expressions régulières peut-être conçues de façon beaucoup trop stricte
• et une histoire de paramètre html tid/sid

C'est donc pour ça que je vous ai donné toutes les infos techniques obtenues ci-dessus, pour que vous puissiez continuer.


Si jamais j'ai du temps libre, peux-tu stp redonner le lien du script ciblant phpBB qui marche le mieux ?
Celui que j'avais récupéré ne marchait pas du tout.

Merci.

[GalacticPirate]

Toujours celui-ci :
https://github.com/MathieuMa/Lalf-Forumactif/
Ça marche bien pourtant
Configuration :
Python 2.7.10, lxml 3.5.0
Windows 10 Treshold2 (v1511) x64
Le problème est peut-être au niveau de l'URL, il faut bien mettre http://www.tout82.org/, puisque sans les www ça m'a sorti une erreur au niveau du sid. Et ça fait le truc dont j'ai parlé, ça marche mais en faisant l'impasse sur les sujets+messages...

[moloko67]

Bonjour,
Je suis le président d'une association de kitesurfeurs à Strasbourg.
Malheureusement notre forum de près de 10 ans d'age est hébergé chez forumactif.
Nous voudrions aspirer le forum pour l'intégrer dans un site perso.
Nous n'avons pas les compétences techniques pour ce genre de travail.
Est ce que quelqu'un ici est capable de réaliser cette opération ?
Merci d'avance.
L'adresse du forum :
http://kitealsace.forumactif.com/forum

[critor]

@moloko67
Voici le script permettant de le faire : https://github.com/MathieuMa/Lalf-Forumactif/
Mais seul un administrateur peut l'utiliser, car il faut enregistrer ses identifiant dans le fichier de configuration.


@STV
Le script récupère le forum en consultant deux types de pages :

• les pages non publiques du panneau d'administration (forums, membres, smileys...)
• les pages publiques du forum (topics, posts)

C'est la récupération sur les pages publiques qui échoue, et je vous avais demandé si vous aviez bien respecté les prérequis, et notamment basculé sous le thème phpBB2 :


Visiblement, ce n'est pas le cas :


Aucune surprise donc que les expressions régulièrements HTML ne trouvent pas les topics et posts, vu que ce n'est pas le bon code HTML qui les encadre.

Donc une fois que cela aura été corrigé, le script aura davantage de chances de fonctionner :

[moloko67]

merci critor pour répondre aussi rapidement.

J'ai réussi à lancer le programme après 15 min j'ai eut une erreur.

voici une copie de la fin du fichier debug :

3/01/2016 23:32:54 - DEBUG : Récupération : sujet 2810
13/01/2016 23:32:54 - DEBUG : Récupération : sujet 2800
13/01/2016 23:32:54 - INFO : Récupération des membres
13/01/2016 23:32:55 - DEBUG : Utilisateurs : 56 pages de 20 membres - starting from page 0
13/01/2016 23:32:55 - DEBUG : Récupération : membre 1
13/01/2016 23:32:55 - DEBUG : Récupération : membre 2
13/01/2016 23:32:55 - ERROR : Une erreur s'est produite. Essayez de relancer le script. Pour plus d'informations, consultez le fichier debug.log.
Traceback (most recent call last):
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 564, in <module>
etapes[i]()
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 338, in get_users
lastvisit = time.mktime(time.struct_time((int(lastvisit[2]),month[lastvisit[1]],int(lastvisit[0]),0,0,0,0,0,0)))
KeyError: u'Ao\ufffd'
13/01/2016 23:32:55 - INFO : Sauvegarde de la progression
13/01/2016 23:33:06 - INFO : Migration Forumactif -> PhpBB : Lalf 0.2.1
13/01/2016 23:33:06 - DEBUG : Importation des bibliothèques
13/01/2016 23:33:06 - DEBUG : Importation de la sauvegarde
13/01/2016 23:33:06 - DEBUG : Nombre d'utilisateurs sauvé : 1
13/01/2016 23:33:06 - DEBUG : Nombre de topics sauvé : 4072
13/01/2016 23:33:06 - DEBUG : Nombre de post sauvé : 0
13/01/2016 23:33:06 - DEBUG : Création de l'urlopener
13/01/2016 23:33:06 - INFO : Connection au forum
13/01/2016 23:33:07 - DEBUG : Récupération du sid
13/01/2016 23:33:07 - DEBUG : Récupération du tid
13/01/2016 23:33:08 - INFO : Récupération des membres
13/01/2016 23:33:09 - DEBUG : Utilisateurs : 56 pages de 20 membres - starting from page 0
13/01/2016 23:33:09 - DEBUG : Récupération : membre 1
13/01/2016 23:33:09 - WARNING : L'utilisateur 1 a déjà été récupéré.
13/01/2016 23:33:09 - DEBUG : Récupération : membre 2
13/01/2016 23:33:09 - ERROR : Une erreur s'est produite. Essayez de relancer le script. Pour plus d'informations, consultez le fichier debug.log.
Traceback (most recent call last):
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 564, in <module>
etapes[i]()
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 338, in get_users
lastvisit = time.mktime(time.struct_time((int(lastvisit[2]),month[lastvisit[1]],int(lastvisit[0]),0,0,0,0,0,0)))
KeyError: u'Ao\ufffd'
13/01/2016 23:33:09 - INFO : Sauvegarde de la progression
13/01/2016 23:33:19 - INFO : Migration Forumactif -> PhpBB : Lalf 0.2.1
13/01/2016 23:33:19 - DEBUG : Importation des bibliothèques
13/01/2016 23:33:19 - DEBUG : Importation de la sauvegarde
13/01/2016 23:33:19 - DEBUG : Nombre d'utilisateurs sauvé : 1
13/01/2016 23:33:19 - DEBUG : Nombre de topics sauvé : 4072
13/01/2016 23:33:19 - DEBUG : Nombre de post sauvé : 0
13/01/2016 23:33:19 - DEBUG : Création de l'urlopener
13/01/2016 23:33:19 - INFO : Connection au forum
13/01/2016 23:33:20 - DEBUG : Récupération du sid
13/01/2016 23:33:20 - DEBUG : Récupération du tid
13/01/2016 23:33:21 - INFO : Récupération des membres
13/01/2016 23:33:22 - DEBUG : Utilisateurs : 56 pages de 20 membres - starting from page 0
13/01/2016 23:33:22 - DEBUG : Récupération : membre 1
13/01/2016 23:33:22 - WARNING : L'utilisateur 1 a déjà été récupéré.
13/01/2016 23:33:22 - DEBUG : Récupération : membre 2
13/01/2016 23:33:22 - ERROR : Une erreur s'est produite. Essayez de relancer le script. Pour plus d'informations, consultez le fichier debug.log.
Traceback (most recent call last):
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 564, in <module>
etapes[i]()
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 338, in get_users
lastvisit = time.mktime(time.struct_time((int(lastvisit[2]),month[lastvisit[1]],int(lastvisit[0]),0,0,0,0,0,0)))
KeyError: u'Ao\ufffd'
13/01/2016 23:33:22 - INFO : Sauvegarde de la progression
13/01/2016 23:33:35 - INFO : Migration Forumactif -> PhpBB : Lalf 0.2.1
13/01/2016 23:33:35 - DEBUG : Importation des bibliothèques
13/01/2016 23:33:35 - DEBUG : Importation de la sauvegarde
13/01/2016 23:33:35 - DEBUG : Nombre d'utilisateurs sauvé : 1
13/01/2016 23:33:35 - DEBUG : Nombre de topics sauvé : 4072
13/01/2016 23:33:35 - DEBUG : Nombre de post sauvé : 0
13/01/2016 23:33:35 - DEBUG : Création de l'urlopener
13/01/2016 23:33:35 - INFO : Connection au forum
13/01/2016 23:33:36 - DEBUG : Récupération du sid
13/01/2016 23:33:36 - DEBUG : Récupération du tid
13/01/2016 23:33:37 - INFO : Récupération des membres
13/01/2016 23:33:37 - DEBUG : Utilisateurs : 56 pages de 20 membres - starting from page 0
13/01/2016 23:33:37 - DEBUG : Récupération : membre 1
13/01/2016 23:33:37 - WARNING : L'utilisateur 1 a déjà été récupéré.
13/01/2016 23:33:37 - DEBUG : Récupération : membre 2
13/01/2016 23:33:37 - ERROR : Une erreur s'est produite. Essayez de relancer le script. Pour plus d'informations, consultez le fichier debug.log.
Traceback (most recent call last):
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 564, in <module>
etapes[i]()
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 338, in get_users
lastvisit = time.mktime(time.struct_time((int(lastvisit[2]),month[lastvisit[1]],int(lastvisit[0]),0,0,0,0,0,0)))
KeyError: u'Ao\ufffd'
13/01/2016 23:33:37 - INFO : Sauvegarde de la progression
13/01/2016 23:33:47 - INFO : Migration Forumactif -> PhpBB : Lalf 0.2.1
13/01/2016 23:33:47 - DEBUG : Importation des bibliothèques
13/01/2016 23:33:48 - DEBUG : Importation de la sauvegarde
13/01/2016 23:33:48 - DEBUG : Nombre d'utilisateurs sauvé : 1
13/01/2016 23:33:48 - DEBUG : Nombre de topics sauvé : 4072
13/01/2016 23:33:48 - DEBUG : Nombre de post sauvé : 0
13/01/2016 23:33:48 - DEBUG : Création de l'urlopener
13/01/2016 23:33:48 - INFO : Connection au forum
13/01/2016 23:33:48 - DEBUG : Récupération du sid
13/01/2016 23:33:48 - DEBUG : Récupération du tid
13/01/2016 23:33:50 - INFO : Récupération des membres
13/01/2016 23:33:50 - DEBUG : Utilisateurs : 56 pages de 20 membres - starting from page 0
13/01/2016 23:33:50 - DEBUG : Récupération : membre 1
13/01/2016 23:33:50 - WARNING : L'utilisateur 1 a déjà été récupéré.
13/01/2016 23:33:50 - DEBUG : Récupération : membre 2
13/01/2016 23:33:50 - ERROR : Une erreur s'est produite. Essayez de relancer le script. Pour plus d'informations, consultez le fichier debug.log.
Traceback (most recent call last):
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 564, in <module>
etapes[i]()
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 338, in get_users
lastvisit = time.mktime(time.struct_time((int(lastvisit[2]),month[lastvisit[1]],int(lastvisit[0]),0,0,0,0,0,0)))
KeyError: u'Ao\ufffd'
13/01/2016 23:33:50 - INFO : Sauvegarde de la progression
13/01/2016 23:34:00 - INFO : Migration Forumactif -> PhpBB : Lalf 0.2.1
13/01/2016 23:34:00 - DEBUG : Importation des bibliothèques
13/01/2016 23:34:00 - DEBUG : Importation de la sauvegarde
13/01/2016 23:34:01 - DEBUG : Nombre d'utilisateurs sauvé : 1
13/01/2016 23:34:01 - DEBUG : Nombre de topics sauvé : 4072
13/01/2016 23:34:01 - DEBUG : Nombre de post sauvé : 0
13/01/2016 23:34:01 - DEBUG : Création de l'urlopener
13/01/2016 23:34:01 - INFO : Connection au forum
13/01/2016 23:34:01 - DEBUG : Récupération du sid
13/01/2016 23:34:01 - DEBUG : Récupération du tid
13/01/2016 23:34:02 - INFO : Récupération des membres
13/01/2016 23:34:03 - DEBUG : Utilisateurs : 56 pages de 20 membres - starting from page 0
13/01/2016 23:34:03 - DEBUG : Récupération : membre 1
13/01/2016 23:34:03 - WARNING : L'utilisateur 1 a déjà été récupéré.
13/01/2016 23:34:03 - DEBUG : Récupération : membre 2
13/01/2016 23:34:03 - ERROR : Une erreur s'est produite. Essayez de relancer le script. Pour plus d'informations, consultez le fichier debug.log.
Traceback (most recent call last):
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 564, in <module>
etapes[i]()
File "C:\Python27\Lalf-Forumactif-master\forumactif-phpbb.py", line 338, in get_users
lastvisit = time.mktime(time.struct_time((int(lastvisit[2]),month[lastvisit[1]],int(lastvisit[0]),0,0,0,0,0,0)))
KeyError: u'Ao\ufffd'
13/01/2016 23:34:03 - INFO : Sauvegarde de la progression
13/01/2016 23:34:13 - INFO : Migration Forumactif -> PhpBB : Lalf 0.2.1
13/01/2016 23:34:13 - DEBUG : Importation des bibliothèques
13/01/2016 23:34:13 - DEBUG : Importation de la sauvegarde
13/01/2016 23:34:13 - DEBUG : Nombre d'utilisateurs sauvé : 1
13/01/2016 23:34:13 - DEBUG : Nombre de topics sauvé : 4072
13/01/2016 23:34:13 - DEBUG : Nombre de post sauvé : 0
13/01/2016 23:34:13 - DEBUG : Création de l'urlopener
13/01/2016 23:34:13 - INFO : Connection au forum
13/01/2016 23:34:15 - DEBUG : Récupération du sid
13/01/2016 23:34:15 - DEBUG : Récupération du tid

Est ce que l'aspiration des sujets c'est bien passé ?
A priori çà bloque au niveau des membres ?

[critor]

Je n'ai pas cette erreur sur le forum que je tente de récupérer.

Mais je note qu'elle semble citer l'heure... Vérifie que tu as bien respecté ce prérequis :

Le format des dates de votre forum doit-être "jour J mois AAAA - HH:MM" (par exemple: Lun 1 Jan 2009 - 00:01), vous devez modifier cela dans le profil de l'administrateur.

[critor]

Voilà pour ce que je peux voir, réussi à récupérer intégralement le forumactif Tout82.
Le script se lance du début jusqu'à la fin sans la moindre erreur ou anomalie.

J'ai changé le style/thème en phpbb2 temporairement (y'avait personne sur le forum ce soir de toutes façons ) pendant la récupération, et ai ensuite restauré le style phpbb3 d'origine.

Après cette modification, le script a bien itéré sur tous les topics 1 par 1.

Toutefois il plantait encore dans la récupération des posts.
Ce qui m'a amené à la section de code Python suivante dans 'forumactif-phpbb.py', la 1ère ligne déclenchant une erreur :

Code: Select all

                        if month[date[3]] == 2:
                            if int(date[2]) > 28:
                                date[2] = u'28'
                        timestamp = time.mktime(datetime.datetime(int(2013),month[date[3]],int(date[2]),int(date[5].split(":")[0]),int(date[5].split(":")[1])).timetuple())


Le format de date que l'on doit régler selon les prérequis étant "Lun 1 Jan 2009 - 00:01", on a après découpage :

• date[0] -> jour de la semaine
• date[1] -> numéro de jour dans le mois
• date[2] -> mois
• date[3] -> année
• date[4] -> -
• date[5] -> heure+minutes

Or ici, le code utilisait date[3] pour le mois, c'est-à-dire l'année d'où une erreur puisque cela ne correspondait à aucun des 12 mois de l'année.
Même décalage avec l'utilisation de date[2] en tant que numéro de jour, alors que c'est le mois...
D'où le code corrigé suivant :

Code: Select all

                        if month[date[2]] == 2:
                            if int(date[1]) > 28:
                                date[1] = u'28'
                        timestamp = time.mktime(datetime.datetime(int(2013),month[date[2]],int(date[1]),int(date[5].split(":")[0]),int(date[5].split(":")[1])).timetuple())


Après cette modification, la récupération des posts se lançait enfin... mais plantait au milieu !
Ce qui m'a amené à un certain post d'un certain matrefeytontias :
http://www.tout82.org/t156-un-bug-du-fo ... vrons#2596
Un post contenant du code html </th></tr></table></s></i></b></marquee> perturbant la structure de la page.
J'ai édité temporairement le post, et le script a pu continuer son petit bout de chemin.


Donc maintenant, il faut tenter l'importation du fichier SQL et vérifier minutieusement tout ce qui aurait pu être mal récupéré - et nous pourrons alors tenter d'affiner le script.

Si c'est bon et que vous avez le temps ça tombe bien, car vous ne seriez plus obligés de renouveler le domaine chez Forumactif en février.
(faut-il aussi encore avoir le temps de se créer un script permettant de fusionner la base phpbb3 générée à partir de forumactif, avec la base tout82.free.fr...)

[GalacticPirate]

@critor Mille mercis, je t'adore
EDIT: euh, sinon, tu pourrais me passer le fichier SQL ?