Simple Sistem Logging Terdistribusi Mengunakan Go dan Kafka

Publish on Nov 06, 2024 by Alfin F

ADVAN Laptop Notebook i3 Gen

ADVAN Laptop Notebook Soulmate 14 inch FHD IPS INTEL i3 8GB+256GB WINDOWS 11 Original. ADVAN kembali menghadirkan produk laptop di Indonesia yang ditenagai oleh Otak INTEL i3 Gen 11 untuk Para Mahasiswa, pekerja, conten creator, editing foto dan video dengan design yang sangat Modern.

Free Klik Disini !

Ide Aplikasi System Loging Terdistribusi

Setiap layanan dalam sistem kita akan mengirimkan log ke topik Kafka yang sama.

Kita bisa memiliki consumer yang berbeda untuk:
- Menampilkan log secara real-time di dashboard.
- Mengumpulkan log untuk analisis lebih lanjut (misalnya, menggunakan Elasticsearch).
- Mengirimkan notifikasi jika terjadi error tertentu.

Contoh Implementasi Golang

1) Producer, untuk mempublish data ke kafka topic.

package main

import (
        "fmt"
        "log"

        "github.com/confluentinc/confluent-kafka-go/kafka"
)

func main() {
        // Konfigurasi producer
        config := &kafka.ConfigMap{
                "bootstrap.servers": "localhost:9092",
        }

        // Buat producer
        producer, err := kafka.NewProducer(config)
        if err != nil {
                log.Fatalf("Failed to create producer: %s", err)
        }
        defer producer.Close()

        // Topic yang akan digunakan
        topic := "my-logs"

        // Pesan yang akan dikirim
        message := &kafka.Message{
                Value: []byte("Hello from Golang!"),
        }

        // Kirim pesan
        err = producer.Produce(message, nil)
        if err != nil {
                log.Printf("Failed to produce message: %v", err)
        } else {
                fmt.Printf("Produced message to topic %s\n", topic)
        }
}

2) Consumer, untuk meng-konsumsi pesan dari topic kafka.

package main

import (
        "fmt"
        "log"

        "github.com/confluentinc/confluent-kafka-go/kafka"
)

func main() {
        // Konfigurasi consumer
        config := &kafka.ConfigMap{
                "bootstrap.servers": "localhost:9092",
                "group.id":          "my-group",
                "auto.offset.reset": "earliest",
        }

        // Buat consumer
        c, err := kafka.NewConsumer(config)
        if err != nil {
                log.Fatalf("Failed to create consumer: %s", err)
        }
        defer c.Close()

        // Subscrib ke topic
        err = c.Subscribe([]string{"my-logs"}, nil)
        if err != nil {
                log.Fatalf("Failed to subscribe: %s", err)
        }

        for {
                msg, err := c.ReadMessage(100)
                if err == nil {
                        fmt.Printf("Message on %s: %s\n", msg.TopicPartition, string(msg.Value))
                } else {
                        // Handle errors
                }
        }
}