Books Online Scraper
Programme qui récupère automatiquement, nettoie et exporte dans un tableur les données de 1 000 livres.
- Type
- Collecte de données
- Année
- 2025
- Rôle
- Développeur Python
Le besoin
Ce projet met en œuvre un pipeline ETL (Extract, Transform, Load) complet pour collecter des données depuis le site Books to Scrape. L'étape d'extraction parcourt récursivement les catégories et produits, récupérant informations et images sur un millier de livres.
La phase de transformation assure le nettoyage des données (encodage, formatage des prix, gestion des caractères spéciaux), garantissant leur qualité. Enfin, le chargement organise les résultats dans une structure de fichiers CSV et dossiers d'images cohérente.
L'architecture est optimisée pour la performance (via des sessions HTTP réutilisées) et la maintenabilité.
Ce qui a été fait
Extraction récursive
Parcours automatisé de 50 catégories et 1000 pages produits avec gestion de la pagination.
Nettoyage des données
Gestion de l'encodage, formatage des prix en float et traitement des caractères spéciaux pour des CSV propres.
Performance réseau
Optimisation via la réutilisation de sessions HTTP pour réduire le temps d'exécution global.
Captures d'écran
Glissez pour parcourir, cliquez pour agrandir.