Aller au contenu
Toutes les réalisations

Books Online Scraper

Programme qui récupère automatiquement, nettoie et exporte dans un tableur les données de 1 000 livres.

Type
Collecte de données
Année
2025
Rôle
Développeur Python

Le besoin

Ce projet met en œuvre un pipeline ETL (Extract, Transform, Load) complet pour collecter des données depuis le site Books to Scrape. L'étape d'extraction parcourt récursivement les catégories et produits, récupérant informations et images sur un millier de livres.

La phase de transformation assure le nettoyage des données (encodage, formatage des prix, gestion des caractères spéciaux), garantissant leur qualité. Enfin, le chargement organise les résultats dans une structure de fichiers CSV et dossiers d'images cohérente.

L'architecture est optimisée pour la performance (via des sessions HTTP réutilisées) et la maintenabilité.

PythonBeautifulSoupRequestsCSVScraping

Ce qui a été fait

  1. Extraction récursive

    Parcours automatisé de 50 catégories et 1000 pages produits avec gestion de la pagination.

  2. Nettoyage des données

    Gestion de l'encodage, formatage des prix en float et traitement des caractères spéciaux pour des CSV propres.

  3. Performance réseau

    Optimisation via la réutilisation de sessions HTTP pour réduire le temps d'exécution global.

Captures d'écran

Glissez pour parcourir, cliquez pour agrandir.