💡 Scrapy est un framework d'exploration Web utile en Python.
Scrapy peut gérer des sites Web statiques, un site Web statique est un site Web avec un contenu fixe codé en HTML et affiché dans un navigateur exactement tel qu'il est stocké.
Un site Web dynamique contient cependant un contenu qui change en fonction de différents facteurs. Pour explorer ces sites, un navigateur pour exécuter JavaScript est nécessaire. Splash est ce service de rendu javascript qui chargera le contenu dynamique.
Cet article vous montrera comment le configurer !
Comment installer Scrapy Splash ?
Tout d'abord, regardons comment installer et configurer splash.
Il y a un peu plus à cela que de simplement installer le package python en utilisant pip.
Pour exécuter splash, un logiciel nommé docker est nécessaire.
🎓 Docker est une plateforme de conteneurisation open-source. Il permet aux développeurs de conditionner des applications dans des conteneurs, des composants exécutables standardisés combinant le code source de l'application avec les bibliothèques du système d'exploitation et les dépendances nécessaires pour exécuter le code dans n'importe quel environnement.
Utilisez ce lien pour télécharger docker :
- https://www.docker.com/products/docker-desktop/
Une fois Docker installé et que vous pouvez démarrer l'application Docker, exécutez la commande suivante dans un shell.
Cela téléchargera l'image splash docker.
docker pull scrapinghub/splash
Après cela, dans l'application docker, sélectionnez les images, scrapinghub/splash devrait maintenant y être disponible, comme dans l'image ci-dessous. À partir de là, appuyez sur le bouton Exécuter à droite de l'image.
Ensuite, cette fenêtre apparaîtra, appuyez sur les paramètres facultatifs pour l'agrandir.
Remplissez le nom que vous voulez pour le conteneur, j'ai simplement utilisé "splash" pour le mien.
Le champ "Hôte local" devra également être rempli. Il suggère 8050 par défaut, j'ai donc décidé d'y aller. Une fois ces champs remplis, appuyez sur le bouton Exécuter dans le coin inférieur droit de la fenêtre.
Dans votre application docker, accédez à Conteneurs / Applications, le conteneur de démarrage devrait maintenant apparaître, comme ceci.
Pour vous assurer que tout fonctionne comme il se doit, démarrez un navigateur et saisissez http://localhost:8050/ . Ou appuyez sur le bouton qui dit ouvrir dans le navigateur comme dans l'image ci-dessus, cela démarrera votre navigateur préféré et recherchera http://localhost:8050/ .
Si tout va bien et fonctionne, alors ce site devrait apparaître.
J'inclurai également un lien vers splash dans les références sur la façon d'installer docker et de le configurer pour utiliser splash [1]
Il est maintenant temps d'installer le package splash en utilisant pip . Exécutez la commande suivante dans le shell de l'environnement de votre choix pour télécharger et installer splash.
pip install scrapy-splash
Une fois scrapy-splash a été installé avec succès, tout devrait bien fonctionner.
