Sebenarnya Apasih Batch Processing itu ?

Apa Itu Batch Processing?

Batch processing adalah metode pemrosesan data di mana sejumlah besar data diproses secara bersamaan dalam satu kelompok (batch) tanpa memerlukan intervensi langsung dari pengguna.

Proses ini berjalan secara otomatis dan sering dijadwalkan untuk berjalan pada waktu-waktu tertentu.

Mengapa Kita Perlu Batch Processing?

• Efisiensi: Batch processing sangat efisien untuk memproses data dalam jumlah besar. Alih-alih memproses setiap data secara individual, sistem dapat mengolah seluruh batch data dalam satu waktu, sehingga menghemat waktu dan sumber daya.


• Otomatisasi: Proses ini bersifat otomatis, sehingga mengurangi kesalahan manusia dan meningkatkan akurasi data.


• Penggunaan Sumber Daya Optimal: Batch processing memungkinkan penggunaan sumber daya komputer secara optimal. Tugas-tugas berat dapat dijalankan pada saat trafic data sedang rendah (misalnya, di malam hari), sehingga tidak mengganggu kinerja sistem saat digunakan untuk tugas-tugas lain.

Contoh: Mengunggah 1000 Record Data

Misalkan Anda memiliki 1000 record data yang ingin diunggah ke dalam sistem, tetapi sistem hanya mampu memproses 10 record dalam sekali simpan. Dengan batch processing, Anda dapat:

1. Membagi Data: Data 1000 record dibagi menjadi 100 batch, masing-masing berisi 10 record.


2. Penjadwalan: Proses batch dijadwalkan untuk berjalan secara otomatis, misalnya setiap 5 menit.


3. Pemrosesan: Sistem akan mengambil satu batch data setiap kali proses batch dijalankan, memprosesnya, dan menyimpannya ke dalam database. Proses ini akan berulang hingga seluruh 100 batch selesai diproses.

Sample Activity Diagram

sample batch processing diagram

Penjelasan Diagram:

1. Start: Proses dimulai.


2. Baca Data: Sistem membaca seluruh data dari sumber (misal, file CSV).


3. Bagi Data: Data dibagi menjadi beberapa batch, masing-masing berisi 10 record.


4. Inisialisasi Counter: Sebuah counter diinisialisasi untuk melacak batch yang sedang diproses.


5. Proses Batch:
   
   
   
   • Ambil batch data berdasarkan counter.
   
   
   • Simpan batch data ke dalam sistem.
   
   
   
   


6. Increment Counter: Nilai counter dinaikkan untuk memproses batch berikutnya.


7. Cek Semua Batch Selesai: Periksa apakah semua batch sudah diproses.
   
   
   
   • Jika ya, lanjut ke langkah "End".
   
   
   • Jika tidak, kembali ke langkah "Proses Batch".
   
   
   
   


8. End: Proses selesai.

Manfaat Batch Processing dalam Contoh Diatas:

• Tidak Membebani Sistem: Dengan memproses data secara bertahap, sistem tidak akan overload dan kinerja sistem tetap terjaga.


• Peningkatan Efisiensi: Proses pengunggahan data menjadi lebih efisien karena dilakukan secara otomatis dan paralel.


• Pengurangan Kesalahan: Risiko kesalahan manusia dalam proses pengunggahan data dapat diminimalkan.

Kesimpulan

Batch processing adalah teknik yang sangat berguna untuk mengolah data dalam jumlah besar secara efisien dan otomatis.

Teknik ini memiliki banyak aplikasi dalam berbagai bidang, seperti pemrosesan transaksi, analisis data, dan pemrosesan laporan.

Baca artikel lainya :

• 4 Agile Principle untuk business analyst


• Hal-hal yang perlu dipelajari terkait dengan SQL IS NULL 


• Cara mencari nilai terbesar dan terkecil CSV dengan pandas.


• Cara membuat API Key google GEMINI


• Tips menghitung jumlah kolom dataframe di pandas


• Cara mengolah JSON Data dengan fungsi group by di pandas


• Koneksi database mysql pada FastAPI Framework


• Perbaharui riwayat commit dengan gitlab rebase


• Mengenal apa itu agile manifesto ?


• Operasi CRUD dengan python dan mongodb


• Mengenal bahasa pemrograman typescript.


• Keuntungan menggunakan ORM di Django Framework


• Tips meningkatkan quality code pada bahasa python


• Tips membuat fungsi delete data di django framework


• Cara memfilter tipe data string pada golang dan python


• Mengubah format datetime pada bahasa pyhton


• Mengolah data CSV dengan python pandas


• Sample join data CSV di python menggunakan pandas


• Menggunakan redis PUB/SUB untuk aplikasi python


• Mengingat ulang apa itu blockchain ?


• Powerledger blockchain layer-1 berfokus pada pasar energy.


• Mengenal dYdX DEX di jaringan blockchain ethereum


• METAPLEX DEX pembuatan dan penjualan aset di SOLANA


• Mengenal SEI blockchain dengan transaksi lebih cepat dari blockchain solana.


• ORCA DEX paling user-friendly di blockchain solana


• Solopreneur pelajari dua bahasa pemrograman ini !