Mengolah Data CSV dengan Pandas dan Jupyter Notebook

CSV adalah tipe file khusus yang dapat Anda buat  di aplkasi office seperti microsoft office, google sheet dan aplikasi sejenis lainya.

File .CSV menyimpan informasi yang dipisahkan oleh koma(,) bukan kolom, ini yang yang menjadikan file .CSV mudah di baca oleh berbagai bahasa program.

Di tutorial sebelumnya kita telah membahas tentang pengolahan data type file .XLSX dengan pandas.

Kode dan cara pemanggilan fungsinya hampir sama, yang membedakan hanya pemanggilan tipe filenya saja pd.read_excel() di ganti ke pd.read_csv(). untuk mengikuti tutorial ini download file .csv nya bisa kamu dapatkan di sini.

Perhatikan kode di bawah ini:

import pandas as pd
df = pd.read_csv("excels.csv")


for i in df.index:
    print("Kota: "+df['Kota'][i])
    print("Jumlah Penduduk: "+df['Jumlah_Penduduk'][i])
    print("Pendapatan Harian: "+df['Pendapatan_Harian'][i])

Dari kode diatas dapat kita lihat bahwa perbedaanya dengan pengolahan data type .XLSX dan .CSV hanya terdapat pada cara pemanggilan type filenya saja.

A) CSV to Dict

Selanjutnya kita akan mengubah data csv kedalam bentuk dictionary, caranya sama dengan tutorial sebelumnya, buat terlebih dahulu variable lst dengan type list data. 

Perhatikan kode di bawah ini :

import pandas as pd
df = pd.read_csv("excels.csv")


lst = []
for i in df.index:
    data = {}
    data['kota'] = df['Kota'][i]
    data['jumlah_penduduk'] = df['Jumlah_Penduduk'][i]
    data['pendapatan_harian'] = df['Pendapatan_Harian'][i]
    lst.append(data)
print(lst)

Output :

Pendapatan Harian: 100 ribu
[{'kota': 'jakarta', 'jumlah_penduduk': '15 juta', 'pendapatan_harian': '500 ribu'}, {'kota': 'tangerang', 'jumlah_penduduk': '10 juta', 'pendapatan_harian': '300 ribu'}, {'kota': 'serang', 'jumlah_penduduk': '7 juta', 'pendapatan_harian': '200 ribu'}, {'kota': 'pandegelang', 'jumlah_penduduk': '3 juta', 'pendapatan_harian':'100 ribu'}]

B) Dict to Json

Selanjutnya kita akan mengubah dictionary kedalam bentuk json dengan menggunakan library json, kemudian panggil terlebih dahulu package json dengan cara

import json

Kemudian gunakan json.dumps() untuk mengubah bentuk dictionary ke bentuk json.

Perhatikan kode di bawah ini :

import pandas as pd
import json
df = pd.read_csv("excels.csv")


lst = []
for i in df.index:
    data = {}
    data['kota'] = df['Kota'][i]
    data['jumlah_penduduk'] = df['Jumlah_Penduduk'][i]
    data['pendapatan_harian'] = df['Pendapatan_Harian'][i]
    lst.append(data)

print(json.dumps(lst))

Output :

[{"kota": "jakarta", "jumlah_penduduk": "15 juta", "pendapatan_harian": "500 ribu"}, {"kota": "tangerang", "jumlah_penduduk": "10 juta", "pendapatan_harian": "300 ribu"}, {"kota": "serang", "jumlah_penduduk": "7 juta", "pendapatan_harian": "200 ribu"}, {"kota": "pandegelang", "jumlah_penduduk": "3 juta", "pendapatan_harian":"100 ribu"}]

Kita sudah mempelajari tentang pengolahan file type .XLSX dan .CSV serta JSON dengan menggunakan pandas.

Diharapkan Anda sekarang sudah bisa menggunakan pandas untuk mempermudah pengolahan data.

C) Video Tutorial

Baca artikel lainya:

1. Tutorial bassic Mysql bagian 1 - Create Read Update Delete


2. Tutorial bassic Mysql bagian 2 - Inner, Left, Right, Cross Join


3. Tutorial bassic Mysql bagian 3 - Filtering Data


4. Tutorial bassic Mysql bagian 4 - Grouping Data 


5. Tutorial bassic Mysql bagian 5 - Operator dan Clausa


6. Tutorial bassic Mysql bagian 6 - Replace Statement


7. Tutorial bassic Mysql bagian 7 - Constraint Data


8. Tutorial bassic Mysql bagian 8 - Mengubah Struktur tabel


9. Tutorial bassic Mysql bagian 9 - Subquery


10. Tutorial bassic Mysql bagian 10 - Virtual Tabel


11. Tutorial bassic Mysql bagian 11 - Control Flow Function


12. Membuat service OTP bagian 1 - OTP dan PIN


13. Membuat service OTP bagian 2 - Sequence Diagram


14. Membuat service OTP bagian 3 - Model dan Serializer


15. Membuat  service OTP bagian 4 - Validate OTP


16. Membuat  service OTP bagian 5 - Api Client Service


17. Membuat service user login bagian 1 - Konfigurasi Database


18. Membuat service user login bagian 2 - Serializer dan JWT


19. Membuat CRUD service product bagian 1 - Models Product


20. Membuat CRUD service product bagian 2 - Function Serializer


21. Membuat CRUD service product bagian 3 - Api Client Service


22. Membaut CRUD service product bagian 4 - Auth User


23. Membuat CRUD service product bagian 5 - TDR File Log


24. Membuat CRUD service product bagian 6 - Unit Test


25. Membuat service user register bagian 1 - Django


26. Membuat Service user register bagian 2 - Django


27. Membuat service filter dan download file CSV di django


28. Django upload file menggunakan FileSystemStorage