BAB 5 : WORKFLOW DAN PROSES BIG DATA
A. DASAR TEORI 1. Big Data Workflow Data dalam big data dipandang sebagai aliran (stream) yang terus bergerak, bukan entitas statis. Workflow adalah standar oprasional terintegrasi untuk mencegah proyek terjebak dalam tumpukan data mentah tanpa arah (data swamp). Tahapannya : Data Discovery (identifikasi sumber data) Akses data sumber (membangun jalur koneksi seperti API) Data ingestion (pengambilan data ke dalam lingkungan big data) Big data sstorage (penyimpanan skala besar seperti HDFS atau Data lake) serving layer (analisis dan penyajian wawasan melalui dashboard. 2. Big Data Processing Pipeline Pipeline adalah serangkaian elemen pemrosesan data yang di hubungkan secara seri untuk mengubah data berserakan (scattered) menjadi kebijakan berbasis bukti (evidence based policy). Arsitektur proses ini terdiri dari data ingestion, workflow data sore, data processing unit, analytic dan visualization & discovery. 5 tahapan arsitektur...
