Il est courant lors de l'analyse exploratoire des données, par exemple lors de l'examen des données COVID-19 avec des pandas, de charger à partir de fichiers comme un CSV, XML ou JSON dans apandas DataFrame. Vous pouvez alors travailler avec les données dans le DataFrame et vouloir les stocker dans un emplacement plus durable comme une base de données relationnelle.
Ce didacticiel explique comment charger un DataFrame pandas à partir d'un fichier CSV, extraire certaines données de l'ensemble de données complet, puis enregistrer le sous-ensemble de données dans une base de données SQLite à l'aide de SQLAlchemy.
Configuration de notre environnement de développement
Assurez-vous que Python 3 est installé. À l'heure actuelle, Python 3.8.2 est la dernière version de Python.
Au cours de ce tutoriel, nous allons également utiliser :
- pandas (page d'accueil du projet et code source), version 1.0.3 dans ce didacticiel
- SQLAlchemy (page d'accueil du projet et code source), version 1.3.15 pour ce didacticiel
- SQLite (page d'accueil du projet et code source), pour lequel Python inclut un connecteur dans le cadre de la bibliothèque standard Python
Installez les bibliothèques de code ci-dessus dans un nouvel environnement virtuel Python à l'aide des commandes suivantes :
python -m venv pandasexport source pandasexport/bin/activate pip install pandas==1.0.3 sqlalchemy==1.3.15
Notre environnement de développement est maintenant prêt à télécharger un exemple d'ensemble de données COVID-19, à le charger dans un pandasDataFrame, à effectuer une analyse dessus puis à l'enregistrer dans une base de données SQLite.
Obtenir des données COVID-19
Accédez à la page Télécharger les données d'aujourd'hui sur la répartition géographique des cas de COVID-19 dans le monde dans votre navigateur Web. Cela devrait ressembler à la capture d'écran suivante.
Il devrait y avoir un lien pour télécharger les données au format CSV, mais l'organisation a changé la mise en page à plusieurs reprises au cours des dernières semaines, ce qui rend difficile la recherche de formats autres qu'Excel (XLSX). Si vous rencontrez des difficultés pour obtenir la version CSV, il vous suffit de télécharger celle-ci depuis GitHub, qui est rattachée à une copie téléchargée le 28 mars 2020.
Importer le CSV dans pandas
Les données brutes se trouvent dans un fichier CSV et nous devons les charger en mémoire via apandas DataFrame.
Commencez par exécuter la boucle Python Read-Evaluate-Print Loop (REPL) sur la ligne de commande :
python >>>
Le REPL est prêt à exécuter du code, mais nous devons d'abord importer la bibliothèque pandas pour pouvoir l'utiliser.
from pandas import read_csv
df = read_csv("covid-19-cases-march-28-2020.csv", encoding="ISO-8859-1")
Les données sont maintenant chargées dans le df variable qui est une instance de la classe pandas DataFrame.
Lorsque nous exécutons le count fonction sur ce DataFrame, nous récupérons qu'il a 7320 lignes.
df.count()
Ensuite, nous allons prendre cet ensemble de 7320 lignes de données et découper uniquement les lignes qui se rapportent aux États-Unis.
Création d'un nouveau DataFrame à partir du DataFrame d'origine
Nous pouvons sélectionner toutes les lignes de données pour un seul pays en utilisant une fonction pandas pour faire correspondre le countriesAndTerritories colonne vers le pays de notre choix.
save_df = df[df['countriesAndTerritories']=="United_States_of_America"]
Le save_df variable contient le plus petit sous-ensemble de données. Vous pouvez savoir ce qu'il contient en l'imprimant lui-même :
save_df
Vous devriez voir quelque chose comme le résultat suivant :
dateRep day month year cases deaths countriesAndTerritories geoId countryterritoryCode popData2018 7082 28/03/2020 28 3 2020 18695 411 United_States_of_America US USA 327167434.0 7083 27/03/2020 27 3 2020 16797 246 United_States_of_America US USA 327167434.0 7084 26/03/2020 26 3 2020 13963 249 United_States_of_America US USA 327167434.0 7085 25/03/2020 25 3 2020 8789 211 United_States_of_America US USA 327167434.0 7086 24/03/2020 24 3 2020 11236 119 United_States_of_America US USA 327167434.0 ... ... ... ... ... ... ... ... ... ... ... 7166 04/01/2020 4 1 2020 0 0 United_States_of_America US USA 327167434.0 7167 03/01/2020 3 1 2020 0 0 United_States_of_America US USA 327167434.0 7168 02/01/2020 2 1 2020 0 0 United_States_of_America US USA 327167434.0 7169 01/01/2020 1 1 2020 0 0 United_States_of_America US USA 327167434.0 7170 31/12/2019 31 12 2019 0 0 United_States_of_America US USA 327167434.0 [89 rows x 10 columns]
89 lignes de données sur les 7320 lignes d'origine. Continuons avec l'enregistrement de ce sous-ensemble dans une base de données relationnelle SQLite.
Enregistrement du DataFrame dans SQLite
Nous allons utiliser SQLAlchemy pour créer une connexion à une nouvelle base de données SQLite, qui dans cet exemple sera stockée dans un fichier nommé save_pandas.db . Vous pouvez bien sûr enregistrer le fichier sous le nom de votre choix et dans n'importe quel emplacement, pas seulement dans le répertoire où vous exécutez le REPL Python.
Commencez par importer le create_engine fonction du sqlalchemy bibliothèque.
from sqlalchemy import create_engine
Créez la connexion en utilisant le create_engine importé functionpuis invoquer le connect méthode dessus.
engine = create_engine('sqlite:///save_pandas.db', echo=True)
sqlite_connection = engine.connect()
Nous définissons echo=True pour voir toutes les sorties provenant de notre connexion à la base de données. Une fois la connexion établie, vous verrez une sortie semblable à celle-ci :
2020-03-29 20:44:08,198 INFO sqlalchemy.engine.base.Engine SELECT CAST('test plain returns' AS VARCHAR(60)) AS anon_1
2020-03-29 20:44:08,198 INFO sqlalchemy.engine.base.Engine ()
2020-03-29 20:44:08,199 INFO sqlalchemy.engine.base.Engine SELECT CAST('test unicode returns' AS VARCHAR(60)) AS anon_1
2020-03-29 20:44:08,199 INFO sqlalchemy.engine.base.Engine ()
<sqlalchemy.engine.base.Connection object at 0x7fd4d932ec88>
Définissez un nom de variable avec la chaîne d'un nom de table que vous souhaitez créer. Utilisez ensuite cette variable lors de l'appel du to_sql méthode sur le save_df objet, qui est notre pandas DataFrame qui est un sous-ensemble de l'ensemble de données d'origine avec 89 lignes filtrées à partir des 7320 d'origine.
Notez que dans ce cas, nous allons échouer si la table existe déjà dans la base de données. Vous pouvez modifier if_exists à replace ou append et ajoutez votre propre gestion des exceptions dans une version plus robuste de ce programme. Consultez la documentation de pandas.DataFrame.to_sql pour plus de détails sur vos options.
sqlite_table = "Covid19" save_df.to_sql(sqlite_table, sqlite_connection, if_exists='fail')
La sortie d'écho devrait tourner avec un tas de sorties.
2020-03-29 20:45:09,066 INFO sqlalchemy.engine.base.Engine PRAGMA main.table_info("Covid19")
2020-03-29 20:45:09,066 INFO sqlalchemy.engine.base.Engine ()
2020-03-29 20:45:09,067 INFO sqlalchemy.engine.base.Engine PRAGMA temp.table_info("Covid19")
2020-03-29 20:45:09,067 INFO sqlalchemy.engine.base.Engine ()
2020-03-29 20:45:09,069 INFO sqlalchemy.engine.base.Engine
CREATE TABLE "Covid19" (
"index" BIGINT,
"dateRep" TEXT,
day BIGINT,
month BIGINT,
year BIGINT,
cases BIGINT,
deaths BIGINT,
"countriesAndTerritories" TEXT,
"geoId" TEXT,
"countryterritoryCode" TEXT,
"popData2018" FLOAT
)
2020-03-29 20:45:09,069 INFO sqlalchemy.engine.base.Engine ()
2020-03-29 20:45:09,070 INFO sqlalchemy.engine.base.Engine COMMIT
2020-03-29 20:45:09,070 INFO sqlalchemy.engine.base.Engine CREATE INDEX "ix_Covid19_index" ON "Covid19" ("index")
2020-03-29 20:45:09,070 INFO sqlalchemy.engine.base.Engine ()
2020-03-29 20:45:09,071 INFO sqlalchemy.engine.base.Engine COMMIT
2020-03-29 20:45:09,072 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)
2020-03-29 20:45:09,074 INFO sqlalchemy.engine.base.Engine INSERT INTO "Covid19" ("index", "dateRep", day, month, year, cases, deaths, "countriesAndTerritories", "geoId", "countryterritoryCode", "popData2018") VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
2020-03-29 20:45:09,074 INFO sqlalchemy.engine.base.Engine ((7082, '28/03/2020', 28, 3, 2020, 18695, 411, 'United_States_of_America', 'US', 'USA', 327167434.0), (7083, '27/03/2020', 27, 3, 2020, 16797, 246, 'United_States_of_America', 'US', 'USA', 327167434.0), (7084, '26/03/2020', 26, 3, 2020, 13963, 249, 'United_States_of_America', 'US', 'USA', 327167434.0), (7085, '25/03/2020', 25, 3, 2020, 8789, 211, 'United_States_of_America', 'US', 'USA', 327167434.0), (7086, '24/03/2020', 24, 3, 2020, 11236, 119, 'United_States_of_America', 'US', 'USA', 327167434.0), (7087, '23/03/2020', 23, 3, 2020, 8459, 131, 'United_States_of_America', 'US', 'USA', 327167434.0), (7088, '22/03/2020', 22, 3, 2020, 7123, 80, 'United_States_of_America', 'US', 'USA', 327167434.0), (7089, '21/03/2020', 21, 3, 2020, 5374, 110, 'United_States_of_America', 'US', 'USA', 327167434.0) ... displaying 10 of 89 total bound parameter sets ... (7169, '01/01/2020', 1, 1, 2020, 0, 0, 'United_States_of_America', 'US', 'USA', 327167434.0), (7170, '31/12/2019', 31, 12, 2019, 0, 0, 'United_States_of_America', 'US', 'USA', 327167434.0))
2020-03-29 20:45:09,074 INFO sqlalchemy.engine.base.Engine COMMIT
2020-03-29 20:45:09,075 INFO sqlalchemy.engine.base.Engine SELECT name FROM sqlite_master WHERE type='table' ORDER BY name
2020-03-29 20:45:09,075 INFO sqlalchemy.engine.base.Engine ()
Notre table avec toutes ses données devrait maintenant être définie. Fermez la connexion à la base de données.
sqlite_connection.close()
Nous pouvons jeter un œil aux données via le sqlite3 visualiseur de ligne de commande pour s'assurer qu'il a été correctement enregistré dans le fichier SQLite.
Sur la ligne de commande (pas dans le REPL Python ), tapez :
sqlite3
Cela ouvrira l'invite de ligne de commande pour interagir avec les bases de données SQLite. Cependant, nous ne sommes pas encore connectés à notre save_pandas.db fichier.
SQLite version 3.28.0 2019-04-15 14:49:49 Enter ".help" for usage hints. Connected to a transient in-memory database. Use ".open FILENAME" to reopen on a persistent database. sqlite>
Utilisez le .open commande avec notre save_pandas.db nom du fichier pour accéder à la base de données. Utilisez ensuite une requête SQL standard pour obtenir tous les enregistrements du Covid19 tableau.
sqlite> .open save_pandas.db sqlite> select * from Covid19;
L'explorateur SQLite devrait produire une sortie comme celle que vous voyez ci-dessous :
7082|28/03/2020|28|3|2020|18695|411|United_States_of_America|US|USA|327167434.0 7083|27/03/2020|27|3|2020|16797|246|United_States_of_America|US|USA|327167434.0 7084|26/03/2020|26|3|2020|13963|249|United_States_of_America|US|USA|327167434.0 7085|25/03/2020|25|3|2020|8789|211|United_States_of_America|US|USA|327167434.0 7086|24/03/2020|24|3|2020|11236|119|United_States_of_America|US|USA|327167434.0 7087|23/03/2020|23|3|2020|8459|131|United_States_of_America|US|USA|327167434.0 7088|22/03/2020|22|3|2020|7123|80|United_States_of_America|US|USA|327167434.0 7089|21/03/2020|21|3|2020|5374|110|United_States_of_America|US|USA|327167434.0 7090|20/03/2020|20|3|2020|4835|0|United_States_of_America|US|USA|327167434.0 7091|19/03/2020|19|3|2020|2988|42|United_States_of_America|US|USA|327167434.0 7092|18/03/2020|18|3|2020|1766|23|United_States_of_America|US|USA|327167434.0 7093|17/03/2020|17|3|2020|887|16|United_States_of_America|US|USA|327167434.0 7094|16/03/2020|16|3|2020|823|12|United_States_of_America|US|USA|327167434.0 7095|15/03/2020|15|3|2020|777|10|United_States_of_America|US|USA|327167434.0 7096|14/03/2020|14|3|2020|511|7|United_States_of_America|US|USA|327167434.0 7097|13/03/2020|13|3|2020|351|10|United_States_of_America|US|USA|327167434.0 7098|12/03/2020|12|3|2020|287|2|United_States_of_America|US|USA|327167434.0 7099|11/03/2020|11|3|2020|271|2|United_States_of_America|US|USA|327167434.0 7100|10/03/2020|10|3|2020|200|5|United_States_of_America|US|USA|327167434.0 7101|09/03/2020|9|3|2020|121|4|United_States_of_America|US|USA|327167434.0 7102|08/03/2020|8|3|2020|95|3|United_States_of_America|US|USA|327167434.0 7103|07/03/2020|7|3|2020|105|2|United_States_of_America|US|USA|327167434.0 7104|06/03/2020|6|3|2020|74|1|United_States_of_America|US|USA|327167434.0 7105|05/03/2020|5|3|2020|34|2|United_States_of_America|US|USA|327167434.0 7106|04/03/2020|4|3|2020|22|3|United_States_of_America|US|USA|327167434.0 7107|03/03/2020|3|3|2020|14|4|United_States_of_America|US|USA|327167434.0 7108|02/03/2020|2|3|2020|20|1|United_States_of_America|US|USA|327167434.0 7109|01/03/2020|1|3|2020|3|1|United_States_of_America|US|USA|327167434.0 7110|29/02/2020|29|2|2020|6|0|United_States_of_America|US|USA|327167434.0 7111|28/02/2020|28|2|2020|1|0|United_States_of_America|US|USA|327167434.0 7112|27/02/2020|27|2|2020|6|0|United_States_of_America|US|USA|327167434.0 7113|26/02/2020|26|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7114|25/02/2020|25|2|2020|18|0|United_States_of_America|US|USA|327167434.0 7115|24/02/2020|24|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7116|23/02/2020|23|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7117|22/02/2020|22|2|2020|19|0|United_States_of_America|US|USA|327167434.0 7118|21/02/2020|21|2|2020|1|0|United_States_of_America|US|USA|327167434.0 7119|20/02/2020|20|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7120|19/02/2020|19|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7121|18/02/2020|18|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7122|17/02/2020|17|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7123|16/02/2020|16|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7124|15/02/2020|15|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7125|14/02/2020|14|2|2020|1|0|United_States_of_America|US|USA|327167434.0 7126|13/02/2020|13|2|2020|1|0|United_States_of_America|US|USA|327167434.0 7127|12/02/2020|12|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7128|11/02/2020|11|2|2020|1|0|United_States_of_America|US|USA|327167434.0 7129|10/02/2020|10|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7130|09/02/2020|9|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7131|08/02/2020|8|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7132|07/02/2020|7|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7133|06/02/2020|6|2|2020|1|0|United_States_of_America|US|USA|327167434.0 7134|05/02/2020|5|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7135|04/02/2020|4|2|2020|0|0|United_States_of_America|US|USA|327167434.0 7136|03/02/2020|3|2|2020|3|0|United_States_of_America|US|USA|327167434.0 7137|02/02/2020|2|2|2020|1|0|United_States_of_America|US|USA|327167434.0 7138|01/02/2020|1|2|2020|1|0|United_States_of_America|US|USA|327167434.0 7139|31/01/2020|31|1|2020|1|0|United_States_of_America|US|USA|327167434.0 7140|30/01/2020|30|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7141|29/01/2020|29|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7142|28/01/2020|28|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7143|27/01/2020|27|1|2020|3|0|United_States_of_America|US|USA|327167434.0 7144|26/01/2020|26|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7145|25/01/2020|25|1|2020|1|0|United_States_of_America|US|USA|327167434.0 7146|24/01/2020|24|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7147|23/01/2020|23|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7148|22/01/2020|22|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7149|21/01/2020|21|1|2020|1|0|United_States_of_America|US|USA|327167434.0 7150|20/01/2020|20|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7151|19/01/2020|19|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7152|18/01/2020|18|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7153|17/01/2020|17|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7154|16/01/2020|16|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7155|15/01/2020|15|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7156|14/01/2020|14|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7157|13/01/2020|13|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7158|12/01/2020|12|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7159|11/01/2020|11|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7160|10/01/2020|10|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7161|09/01/2020|9|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7162|08/01/2020|8|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7163|07/01/2020|7|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7164|06/01/2020|6|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7165|05/01/2020|5|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7166|04/01/2020|4|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7167|03/01/2020|3|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7168|02/01/2020|2|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7169|01/01/2020|1|1|2020|0|0|United_States_of_America|US|USA|327167434.0 7170|31/12/2019|31|12|2019|0|0|United_States_of_America|US|USA|327167434.0 sqlite>
Toutes les données avec le countriesAndTerritories correspondance de colonneUnited_States_of_America y a-t-il! Nous avons réussi à exporter les données du DataFrame dans le fichier de base de données SQLite.
Quelle est la prochaine ?
Nous venons d'importer des données d'un fichier CSV dans un pandas DataFrame, de sélectionner un sous-ensemble de ces données, puis de les enregistrer dans une base de données relationnelle.
Vous devriez jeter un coup d'œil au didacticiel Apprendre les pandas en explorant les données COVID-19 pour en savoir plus sur la façon de sélectionner des sous-ensembles de données à partir d'un DataFrame plus large, ou vous diriger vers la page des pandas pour plus de didacticiels par le reste de la communauté Python.
Vous pouvez également avoir une idée de ce qu'il faut coder ensuite dans votre projet Python en lisant la page de table des matières Full Stack Python.
Des questions? Contactez-moi via Twitter@fullstackpythonor @mattmakai. Je suis également sur GitHub avec le nom d'utilisateur mattmakai.
Quelque chose ne va pas avec ce message ? La source de cette page sur GitHuband soumet une pull request.
