BAB 4 : ARSITEKTUR BIG DATA

 

A. DASAR TEORI

1. Konsep Arsitektur Big Data

    Big data adalah seni merangkai sebuah ekosistem dari berbagai komponen modular agar bekerja secara presisidan harmonis. Pemahaman arsitektur ini krusial bagi analisis bisnis untuk mengidentifikasi komponen, memahami alaur kerja, dan merancang konfigurasi solusi bisnis secara mandiri.

2. Arsitektur Berlapis

    Untuk mengelola kompleksitas, ekosistem big data dipecah menjadi lapisan-lapisan fungsional yang beroprasi secara independen namun berurutan dalam mengoper data.

3. Data Layer & Analytic Layer

•     Data layer : lapisan persiapan dimana data tidak boleh langsung dicampur, melainkan harus dipilah. Data di klasifikasikan menjadi data primer (patokan awal/ barometer utama seperti dataset terstruktur) dan data sekunder ( data pendukung yang memberikan konteks kualitatif atau efek mozaik, baik yanng berhubungan langsung atau tidak).
• Analytic layer : lapisan eksekusi tempat algoritma bekerja menggabungkan data primer dan sekunder untuk mencari anomali dan menemukan pola prediktif.

4. Arsitektur Teknologi Big Data

    Pipa saluran data (data pipeline) terbagi dalam 5 komponen utama:

• Komponen input : Berasal dari sumber big data (IoT, medsos) sistem internal organisasi (ERP, SCM) dan aplikasi cloud.
• Data Ingestion : Mekanisme penarikan data menggunakan teknologi seperti sqoop,ETL atau koneksi CDC/API secara real-time.
• Storage layer : wadah penyimpanan yang menggunakan data warehouse atau data lake.
• Big data engine : "dapur pacu" komputasi terdistribusi,c meliputi HDFS, batch procesing, in memory untuk komputasi cepat, hingga stream proccesing.
• Presentation layer : Muara akhir berupa dashboar real time, reporting, self service analityc, hingga prediksi tingkat lanjut yang dikonsumsi oleh stakeholders.

5. Arsitektur Analitik

    Tahapan maturitas analitik berurutan dari :

• Exploratory ( apa yang kita miliki?)
• Descriptive ( apa yang telah terjadi?)
• Predictive (apa yang terjadi?) menggunaka machine learning
• Prescyptive (apa rekomendasi tindakan yang harus diambil?)
• Cognitive (sistem AI meniru otak manusia secara adaptif)

6. Integrasi Big Data dan AI

    Big data adalah bahan bakarnya, sedangkan AI adalah mesin penggeraknya, pondasi ini menuntut kesatuan antar arsitektur yang stabil, stategi yang kompheratif, algoritma yang presisi dan fungsi bisnis yang spesifik guna menciptakan keunggulan kompetitif bagi perusahaan.

B. LATIHAN & TUGAS

I. LATIHAN

a). Mengapa membangun infrastruktur Big Data sering dianalogikan seperti merakit mobil balap Formula 1 (F1) dibandingkan sekadar menginstal sebuah software? Jelaskan!

    Membangun infrastruktur Big Data diibaratkan seperti merakit mobil Formula 1 karena:

• Tidak hanya memasang satu komponen, tetapi membutuhkan integrasi banyak sistem.
• Semua bagian harus bekerja sinkron dan optimal.
• Performa sangat bergantung pada keseimbangan antar komponen.

    Komponen dalam Big Data meliputi:

• data ingestion,
• penyimpanan,
• pemrosesan,
• analitik,
• visualisasi.

    Sedangkan menginstal software hanya membutuhkan satu aplikasi saja tanpa membangun ekosistem     teknologi yang kompleks.

b). Dalam Storage Layer, terdapat dua pendekatan utama yaitu Data Warehouse dan Data Lake. Jelaskan perbedaan kondisi penggunaan dari kedua pendekatan tersebut!

    Data Warehouse digunakan ketika:

• Data sudah rapi.
• Fokus pada laporan bisnis.
• Query cepat diperlukan.

    Data Lake digunakan ketika:

• Data sangat besar dan beragam.
• Digunakan untuk machine learning.
• Menyimpan data mentah terlebih dahulu.

c). Jelaskan makna pernyataan:
“Big Data adalah bahan bakar utama, dan AI adalah mesin penggeraknya.” Mengapa keduanya tidak bisa dipisahkan?

    Maknanya:

• Big Data menyediakan data dalam jumlah besar sebagai sumber pembelajaran.
• Artificial Intelligence (AI) menggunakan data tersebut untuk belajar, mengenali pola, dan membuat keputusan otomatis.

    Tanpa Big Data:

• AI tidak memiliki data untuk belajar.

Tanpa AI:

• Big Data hanya menjadi kumpulan data tanpa nilai bisnis.

    Karena itu, Big Data dan AI saling melengkapi dalam menghasilkan insight dan otomatisasi             keputusan.

II. TUGAS

Perancangan Arsitektur Platform Logistik Pintar (Smart Logistics)

Sebuah perusahaan logistik ingin membangun platform analitik untuk:

• memprediksi keterlambatan pengiriman,
• memberi rekomendasi rute real-time,
• menggunakan data GPS kendaraan, ERP perusahaan, dan keluhan pelanggan Twitter. 

a). Identifikasi dan kelompokkan sumber data ke kategori Data Primer dan Data Sekunder!

b). Buat pemetaan arsitektur teknologi berdasarkan 5 Lapisan Utama:

• Input
• Ingestion
• Storage
• Engine
• Presentation

    1. Input Layer

        Sumber data masuk:

• GPS kendaraan (IoT device)
• Sistem ERP
• Twitter API

    2. Ingestion Layer

        Proses pengambilan data:

• Apache Kafka → streaming data GPS
• API Connector → ERP & Twitter
• Data pipeline ETL

    3. Storage Layer

        Penyimpanan data:

• Data Lake (Hadoop / Cloud Storage)
• Data Warehouse (BigQuery / Snowflake)

    4. Engine Layer

        Pemrosesan dan analitik:

• Apache Spark → big data processing
• Machine Learning Model → prediksi keterlambatan
• AI Routing Algorithm → rekomendasi rute

    5. Presentation Layer

        Output sistem:

• Dashboard monitoring logistik
• Aplikasi kurir (mobile app)
• Notifikasi real-time

c). Jika sistem mampu memprediksi probabilitas keterlambatan dan otomatis merekomendasikan rute bebas macet, maka sistem berada pada tahap maturitas analitik apa? Jelaskan!

    Sistem berada pada tahap:

    Prescriptive Analytics (Advanced Analytics Level Tertinggi)

    Tahapan maturitas analitik:

1. Descriptive Analytics → Apa yang terjadi
2. Diagnostic Analytics → Mengapa terjadi
3. Predictive Analytics → Apa yang akan terjadi
4. Prescriptive Analytics → Apa yang harus dilakukan

    Karena sistem:

• memprediksi keterlambatan (Predictive),
• sekaligus memberi solusi rute otomatis,

    maka termasuk Prescriptive Analytics.