Débuter et apprendre a programmer en Python
Débuter et apprendre a programmer en Python
Chaque jour sur Internet, des millions d’informations sont générées et stockées, faisant du web un immense hub de données, qui à l’heure du Big DATA, représente une opportunité immense.
Ces données n’étant pas accessible directement depuis une base de données ou une API, le web scraping joue pleinement son rôle d’extracteur de données massives.
En effet, le web scraping, c’est l’art de créer des programmes naviguant à la vitesse de la lumière sur des sites web et extraire toutes les informations souhaitées.
Je vous propose donc d’obtenir cette compétence avec moi, à travers 16h de cours qui vous feront passer de novice total à expert.
Je suis Sébastien Daviot, consultant pour le compte d’un logiciel web analytics, et j’utilise de mon côté le webscraping pour enrichir les analyses comportementales et de tendances des site web de mes clients.
Au programme de cette formation en ligne Devenir un expert du Web Scraping
Dans ce cours en ligne, vous apprendrez à coder en Python, le fonctionnement d’un site web et l'utilisation les principaux framework du web scraping comme Beautiful Soup, Scrapy, Splash, Selenium.
A l’issue de ce cours en vidéo vous pourrez répondre aux problématiques les plus complexes :
- Scraper des milliers de pages en quelques minutes,
- Scraper des données en simulant une visite sur un navigateur,
- Accéder à des données uniquement accessibles via une authentification,
- Exploiter l’API d’un site
- Enregistrer votre travail dans le Cloud.
Pour cela, vous coderez avec moi vos premiers scrapers.
Puis, je challengerai régulièrement vos nouvelles compétences sur un site web spécialement créé pour l’occasion.
Pourquoi ce cours plutôt qu’un autre ?
- Vous allez apprendre toutes les libraires Python de webscraping en un seul cours, ce qui est rare !
- Aucune connaissance de départ exigée, le début du cours étant dédié à l’apprentissage du Python et des langages web côté client.
- Je privilégie la pratique plutôt que faire un cours magistral.
- Je reste disponible pour répondre à vos questions via la FAQ ou l'espace d'entraide.
- Je suis formateur en ligne sur d’autres thématiques et les avis sont très positifs
- Testez vos connaissances via le QCM de fin de cours
J’espère vous avoir donné envie d’apprendre cette compétence et on se retrouve tout de suite pour démarrer le cours !
Qu’allez-vous apprendre dans ce cours ?
Plan de cours
Chapitre 1
Introduction au web scraping
Introduction au web scraping
Chapitre 2
Les fondamentaux de la programmation en Python pour le web scraping
Les fondamentaux de la programmation en Python pour le web scraping
Chapitre 3
Programmation en Python - Préparation de l'environnement de travail
Programmation en Python - Préparation de l'environnement de travail
Chapitre 4
Programmation en Python - Gestion des variables en Python
Programmation en Python - Gestion des variables en Python
Chapitre 5
Programmation en Python - Les conditions
Programmation en Python - Les conditions
Chapitre 6
Programmation en Python - Les listes
Programmation en Python - Les listes
Chapitre 7
Programmation en Python - Les dictionnaires
Programmation en Python - Les dictionnaires
Plan détaillé du cours
Chapitre 1 : Introduction au web scraping
17m24s
Leçon 1Qu'est ce que le web scraping ?
Leçon 2Dans quels cas utiliser le web scraping ?
Leçon 3Quelles sont les compétences nécessaires pour le web scraping ?
Chapitre 2 : Les fondamentaux de la programmation en Python pour le web scraping
08m43s
Leçon 1Contenu de la section
Leçon 2Introduction à la programmation
Chapitre 3 : Programmation en Python - Préparation de l'environnement de travail
11m33s
Leçon 1Installation Anaconda
Leçon 2Présentation d'anaconda
Leçon 3Installation Visual Studio Code
Leçon 4Lancer un script depuis VS Code
Chapitre 4 : Programmation en Python - Gestion des variables en Python
35m
Leçon 1Introduction aux variables
Leçon 2Les variables numériques
Leçon 3Les variables textuelles
Leçon 4Consulter et modifier le type d'une variable
Leçon 5Gérer la concaténation
Leçon 6Présentation exercices
Leçon 7Corrections exercices
Chapitre 5 : Programmation en Python - Les conditions
30m16s
Leçon 1Introduction aux conditions
Leçon 2Les booléens
Leçon 3Les opérateurs logiques
Leçon 4Construction d'une condition simple
Leçon 5Les conditions successives
Leçon 6Les conditions multiples
Leçon 7Enoncé exercice
Leçon 8Correction exercice
Chapitre 6 : Programmation en Python - Les listes
28m36s
Leçon 1Introduction aux listes
Leçon 2Obtenir des informations sur une liste
Leçon 3Modifier une liste
Leçon 4Enoncé exercice
Leçon 5Correction exercice
Chapitre 7 : Programmation en Python - Les dictionnaires
19m49s
Leçon 1Introduction aux dictionnaires
Leçon 2Modifier un dictionnaire
Leçon 3Créer des sous dictionnaires
Leçon 4Enoncé exercice
Leçon 5Correction exercice
Chapitre 8 : Programmation en Python - Les boucles
19m08s
Leçon 1Introduction aux boucles
Leçon 2La boucle while
Leçon 3La boucle for
Leçon 4Itérer sur une liste numérique
Chapitre 9 : Programmation en Python - Les fonctions
27m35s
Leçon 1Introduction aux fonctions
Leçon 2Créer sa première fonction
Leçon 3Les arguments de fonctions
Leçon 4Les valeurs par défaut sur les arguments
Leçon 5Les variables globales et locales
Leçon 6Enoncé exercice
Leçon 7Correction exercice
Chapitre 10 : Programmation en python - Les librairies
11m30s
Leçon 1Utiliser une librairie
Leçon 2Installer une librairie
Chapitre 11 : Programmation en Python - La programmation orientée objet
14m37s
Leçon 1La POO
Chapitre 12 : Utiliser un terminal de commandes
28m22s
Leçon 1Comprendre et lancer le terminal de commandes
Leçon 2Naviguer dans les dossiers
Leçon 3Modifier un dossier
Leçon 4Copier un dossier ou un fichier
Leçon 5Utiliser Python dans le terminal
Leçon 6Gérer des arguments depuis le terminal
Chapitre 13 : La programmation web avec les langages côté client
08m20s
Leçon 1Qu'est ce que le développement côté client
Leçon 2Comment lire le code d'une page web
Chapitre 14 : Comprendre le langage HTML pour le web scraping
34m16s
Leçon 1Créer son premier fichier HTML
Leçon 2Les principales balises
Leçon 3Les liens hyper text
Leçon 4Les images
Leçon 5Les listes et les tableaux
Leçon 6La personnalisation graphique
Leçon 7Enoncé exercice
Leçon 8Correction exercice
Chapitre 15 : Comprendre le langage CSS pour le web scraping
27m20s
Leçon 1Comprendre la syntaxe du CSS
Leçon 2Cibler les balises
Leçon 3Les classes CSS
Leçon 4Les IDs en CSS
Leçon 5Les DIV
Leçon 6Les SPAN
Leçon 7Enoncé exercice
Leçon 8Correction exercice
Chapitre 16 : Comprendre le langage Javascript pour le web scraping
43m04s
Leçon 1Gérer ses variables en JS
Leçon 2Créer des conditions
Leçon 3Créer des boucles
Leçon 4Les fonctions en js
Leçon 5Préparer son code à la dynamisation
Leçon 6Le DOM en Javacript
Leçon 7Ajouter un évènement
Leçon 8Modifier une page HTML dynamiquement
Leçon 9Naviguer dans le DOM
Leçon 10Enoncé exercice
Leçon 11Correction exercice
Chapitre 17 : Web scraping avec BeautifulSoup
2h01m
Leçon 1Préambule
Leçon 2Disclaimer sites du cours
Leçon 3Première analyse du site
Leçon 4Installation des librairies nécéssaires
Leçon 5Requêter une page web et vérifier son fonctionnement
Leçon 6Choisir son interpréteur html
Leçon 7Cibler des balises
Leçon 8Utiliser les attributs des balises
Leçon 9Récupérer les valeurs d'attributs
Leçon 10Extraire les données des balises
Leçon 11Les sélecteurs CSS
Leçon 12Naviguer dans le DOM
Leçon 13Préparer son scraping
Leçon 14Utiliser la librairie Pandas pour mieux comprendre son extract
Leçon 15Extraire des données sur plusieurs pages
Leçon 16Enoncé Atelier
Leçon 17Correction Atelier
Chapitre 18 : Web scraping avec Scrapy - principe de fonctionnement
36m49s
Leçon 1Présentation de Scrapy
Leçon 2Préparation de son espace de travail
Leçon 3Les commandes windows
Leçon 4Générer son premier spider
Leçon 5Générer son premier spider (suite)
Leçon 6L'architecture d'un projet scrapy
Leçon 7Premières exécutions de son spider
Chapitre 19 : Web scraping avec Scrapy - Selectionner les données avec xpath
1h36s
Leçon 1La sélection de balises simples
Leçon 2Extraire le texte d'une balise
Leçon 3Sélection avec les attributs
Leçon 4Les références relatives
Leçon 5Récupérer la valeur d'un attribut
Leçon 6Les filtres "contient"
Leçon 7Nettoyer le texte récupéré
Leçon 8Naviguer dans le DOM
Leçon 9Enoncé Atelier
Leçon 10Correction atelier
Chapitre 20 : Web scraping avec Scrapy - Les sélecteurs CSS
09m21s
Leçon 1Sélection de balises simples
Leçon 2Sélection à partir d'attributs
Chapitre 21 : Web scraping avec Scrapy - Exporter en Json et en CSV
06m05s
Leçon 1Préparation de l'environnement de travail
Leçon 2Exporter en json ou en csv
Chapitre 22 : Web scraping avec Scrapy - Récupérer des données sur plusieurs pages
21m43s
Leçon 1Gérer la pagination
Leçon 2Récupérer des données sur des pages détail
Chapitre 23 : Web scraping avec Scrapy - Les rules objects
22m18s
Leçon 1Les spiders de type "Crawl"
Leçon 2Gestion des rule objects
Leçon 3Enrichir son spider
Chapitre 24 : Web scraping avec Scrapy - Les item loaders
27m37s
Leçon 1Déclaration des items
Leçon 2Les item loaders
Chapitre 25 : Utiliser l'API d'un site web pour votre web scraper
37m28s
Leçon 1Repérer l'utilisation d'une API sur un site web
Leçon 2Préparer l'environnement de travail
Leçon 3Exploration des données d'une API
Leçon 4Récupérer les données dans une API
Leçon 5Itérer sur une API
Chapitre 26 : Web scraping avec Scrapy - Atelier
07m27s
Leçon 1Enoncé Atelier
Leçon 2Correction atelier
Chapitre 27 : Le Web scraping avec Selenium
58m41s
Leçon 1Présentation Selenium
Leçon 2Vérifier si Sélénium est nécessaire à votre projet
Leçon 3Faire le setup d'installation
Leçon 4Préparer le spider
Leçon 5Scraping simple avec Selenium
Leçon 6Scraping avec interactions - installatioon
Leçon 7Scraping avec interactions
Leçon 8Les autres interactions possibles avec Selenium
Leçon 9Enoncé Atelier
Leçon 10Correction atelier
Chapitre 28 : Contourner les blocages des sites web
38m04s
Leçon 1Introduction
Leçon 2Apprendre à lire un fichier robots.txt
Leçon 3Ne pas suivre les règles du fichier robots.txt
Leçon 4Modifier le user agent
Leçon 5Dynamiser le user agent à chaque requête partie 1
Leçon 6Dynamiser le user agent à chaque requête partie 2
Leçon 7Bloquer les cookies
Leçon 8Ralentir le scraper
Chapitre 29 : Web Scraping avec Splash
53m19s
Leçon 1Introduction à la librairie Splash
Leçon 2Installation splash
Leçon 3Découverte de splash et du langage LUA
Leçon 4Créer un script en LUA
Leçon 5Intégrer Splash dans un projet Scrapy
Leçon 6Limiter les ressources appelées
Leçon 7L'autothrottle
Leçon 8Enoncé Atelier
Leçon 9Correction atelier
Chapitre 30 : Simuler une connexion à un compte en ligne
32m40s
Leçon 1Gérer le login avec Scrapy
Leçon 2Gérer le login avec Splash
Leçon 3Entrainement
Chapitre 31 : Gestion des requêtes en AJAX
15m02s
Leçon 1Comprendre l'AJAX
Leçon 2Récupérer des données depuis une requête dynamique
Chapitre 32 : Envoyer vos données vers l'extérieur avec les pipelines
12m14s
Leçon 1Connecter son projet Scrapy au système Mongo DB cloud - partie 1
Leçon 2Connecter son projet Scrapy au système Mongo DB cloud - partie 2
Chapitre 33 : Conclusion et remerciements
01m59s
Leçon 1Conclusion et remerciements
Aperçus
Avis des apprenants