Belajar Cepat Data Frame Python dengan SQL dan Pandas

Publish on Oct 03, 2021 by Alfin F

Pandas adalah librari python berlisensi BSD dan open source yang menyediakan struktur data dan analisis data yang mudah digunakan dan berkinerja tinggi untuk bahasa pemrograman Python.

Pandas merupakan librari analisis data yang memiliki struktur data yang diperlukan untuk membersihkan data mentah ke dalam sebuah bentuk yang cocok untuk di analisis (yaitu tabel).

Pandas melakukan tugas penting seperti menyelaraskan data untuk perbandingan dan penggabungan set data, penanganan data yang hilang, dll,

Struktur data dasar pandas dinamakan DataFrame, yaitu sebuah koleksi kolom berurutan dengan nama dan jenis.

Dengan demikian merupakan sebuah tabel yang tampak seperti database dimana sebuah baris tunggal mewakili sebuah contoh tunggal dan kolom mewakili atribut tertentu.

Harus dicatat di sini bahwa elemen dalam berbagai kolom mungkin beberapa jenis yang berbeda.

Di artikel sebelumnya kita telah membahas tentang :

Mengolah data .CSV dengan python pandas

Mengolah data .XLSX dengan python pandas

Mengolah JSON data dengan python

Pandas ternyata tidak hanya bisa mengolah data .CSV ataupun bentuk .XLSX, namun pandas juga bisa digunakan untuk mengolah data SQL.

Pada artikel ini kita akan mengintegrasikan pandas dengan database mysql menggunakan librari SQLALchemy,

Table Of Content :

Python virtual environment

SQLALchemy

Python library

Sample Code

A) Python Virtual Environment

Virtual environment (virtualenv) adalah sebuah tool yang digunakan untuk memisahkan sebuah sistem operasi yang ada pada komputer atau laptop kita dengan komponen atau package yang akan digunakan untuk membuat sebuah project.

Sehingga modul python yang di install tidak mempengaruhi environment global dan project yang lain.

Buat Anda yang masih belum tau bagaimana cara membuat environment untuk python, Anda bisa membacanya di sini : konfigurasi virtual environment python.

B) SQLALchemy

SQLAlchemy adalah Python SQL toolkit dan Object Relational Mapper yang memberi pengembang aplikasi kemudahan dalam integrasi bahasa SQL.

Dengan SQLALchemy kita bisa mendesain basis data mejadi lebih mudah dan hemat waktu.

Pembuatan koneksi database dengan SQLALchemy cukup mudah, sebelumnya install terlebih dahulu SQLALchemy dengan pip

pip install SQLAlchem

Perhatikan kode simple untuk koneksi kedatabase mysql dibawah ini :

from sqlalchemy import create_engine

create_engine('mysql+pymysql://root:xxx@127.0.0.1/samplecode', pool_recycle=3600)

C) Python Library

Agar SQLALchemy bisa terhubung dengan database MYsql kita perlu terlebih dahulu menginstall python library PYMYSQL, install dengan pip

pip install pymsql

D) Sample Code

Pada study kasus kali ini kita akan membaca isi dari table v_property dengan struktur table seperti dibawah ini :

dataframe sample table contoh struktur table v_property

Dari table diatas pandas akan membaca isi konten dari table v_property, perhatikan kode dibawah ini buat file dengan nama sample_frame.py :

from sqlalchemy import create_engine
import pymysql
import pandas as pd
sqlEngine       = create_engine('mysql+pymysql://root:xxx@127.0.0.1/samplecode', pool_recycle=3600)
dbConnection    = sqlEngine.connect()
frame           = pd.read_sql("select id,title,slug,sale_rent,price,bedrooms from v_property", dbConnection);