Une série d’articles vous est proposée sur le Fichier national d’entités (FNE), qui est entré depuis novembre 2022 dans une nouvelle phase avec la réalisation d’un pilote. Rédigés par les deux cheffes de projet du FNE, Anila Angjeli (BnF) et Laure Jestaz (Abes), ces articles éclairent les choix des agences.
Vos questions et commentaires sont les bienvenus via le formulaire de contact.
Wikibase pour le FNE : fin de partie
Le Pilote FNE a été lancé le 15 novembre 2022, pour une première phase essentiellement technique. Après 3 mois de tests pour s’assurer des performances de Wikibase dans les opérations en masse de chargement et de modification de données, force est de constater que ce socle logiciel échoue à répondre aux exigences attendues pour le FNE.
L’un des pré-requis pour poursuivre sur cette solution technique était, notamment, d’obtenir un temps de chargement de masse d’au moins 200 entités/seconde. Or, l’API mise à disposition pour interagir avec une instance Wikibase s’est révélée bien trop lente, qu’on utilise le requêtage asynchrone ou le multithreading (processus fonctionnant en parallèle).
Les meilleurs résultats obtenus pour un chargement de 3,8 millions d’entités ont été de 17 entités chargées par seconde (contre les 200 entités requises). Il a par conséquent été décidé d’arrêter les tests sur ce socle technique, les autres opérations attendues pour la construction et le fonctionnement courant du FNE (les modifications de masse, par exemple) faisant appel à la même API.
Cette première phase de tests techniques a donc été close. Un article technique plus complet sera proposé pour présenter les tests réalisés et préciser ce qui s’est révélé être des inconvénients techniques majeurs de cette solution pour le projet FNE.
Des travaux sont en cours pour rechercher d’autres solutions susceptibles de répondre aux attendus, les besoins techniques et fonctionnels ayant été précisés à l’occasion de cette phase. Ils seront discutés à la prochaine réunion du Comité stratégique bibliographique (CSB) en juin 2023.
Date de la dernière modification: 28 mars 2023