Simple Sistem Logging Terdistribusi Mengunakan Go dan Kafka

Publish on Nov 06, 2024 by Alfin F

Informa Lampu Meja Led Rechargeable Portable - Putih

Tingkatkan pengalaman belajar Anda dengan menggunakan Informa lampu meja LED. Lampu ini dilengkapi dengan tombol layar sentuh yang memudahkan Anda mengatur kecerahan sesuai kebutuhan. Selain itu, lampu ini juga termasuk kabel charger tipe micro USB agar lebih praktis dalam pengisian daya.

Free Klik Disini !

Ide Aplikasi System Loging Terdistribusi

Setiap layanan dalam sistem kita akan mengirimkan log ke topik Kafka yang sama.

Kita bisa memiliki consumer yang berbeda untuk:
- Menampilkan log secara real-time di dashboard.
- Mengumpulkan log untuk analisis lebih lanjut (misalnya, menggunakan Elasticsearch).
- Mengirimkan notifikasi jika terjadi error tertentu.

Contoh Implementasi Golang

1) Producer, untuk mempublish data ke kafka topic.

package main

import (
        "fmt"
        "log"

        "github.com/confluentinc/confluent-kafka-go/kafka"
)

func main() {
        // Konfigurasi producer
        config := &kafka.ConfigMap{
                "bootstrap.servers": "localhost:9092",
        }

        // Buat producer
        producer, err := kafka.NewProducer(config)
        if err != nil {
                log.Fatalf("Failed to create producer: %s", err)
        }
        defer producer.Close()

        // Topic yang akan digunakan
        topic := "my-logs"

        // Pesan yang akan dikirim
        message := &kafka.Message{
                Value: []byte("Hello from Golang!"),
        }

        // Kirim pesan
        err = producer.Produce(message, nil)
        if err != nil {
                log.Printf("Failed to produce message: %v", err)
        } else {
                fmt.Printf("Produced message to topic %s\n", topic)
        }
}

2) Consumer, untuk meng-konsumsi pesan dari topic kafka.

package main

import (
        "fmt"
        "log"

        "github.com/confluentinc/confluent-kafka-go/kafka"
)

func main() {
        // Konfigurasi consumer
        config := &kafka.ConfigMap{
                "bootstrap.servers": "localhost:9092",
                "group.id":          "my-group",
                "auto.offset.reset": "earliest",
        }

        // Buat consumer
        c, err := kafka.NewConsumer(config)
        if err != nil {
                log.Fatalf("Failed to create consumer: %s", err)
        }
        defer c.Close()

        // Subscrib ke topic
        err = c.Subscribe([]string{"my-logs"}, nil)
        if err != nil {
                log.Fatalf("Failed to subscribe: %s", err)
        }

        for {
                msg, err := c.ReadMessage(100)
                if err == nil {
                        fmt.Printf("Message on %s: %s\n", msg.TopicPartition, string(msg.Value))
                } else {
                        // Handle errors
                }
        }
}