Kafka監控網站搭建，全面解析與實踐

網站 2025年01月20日 02:54 19 admin

隨著大數據時代的到來，Kafka作為一款高性能的分布式流處理平臺，被廣泛應用于各種場景，為了保證Kafka集群的穩定運行，對其進行實時監控變得尤為重要，本文將詳細介紹Kafka監控網站的搭建過程，幫助大家輕松實現Kafka集群的實時監控。

Kafka監控網站搭建步驟

1、環境準備

（1）操作系統：Linux（推薦使用CentOS 7）

（2）Java環境：JDK 1.8及以上版本

（3）Kafka環境：安裝Kafka 2.0及以上版本

（4）監控工具：Zabbix（開源監控工具）

2、安裝Zabbix

（1）下載Zabbix服務器安裝包：訪問Zabbix官網下載最新版本安裝包，zabbix-4.4.4.tar.gz

（2）解壓安裝包：tar -zxvf zabbix-4.4.4.tar.gz

（3）進入安裝目錄：cd zabbix-4.4.4

（4）編譯安裝：./configure --prefix=/usr/local/zabbix --enable-server --enable-proxy --enable-agent --with:mysql=/usr --with:mysql-shared-library=/usr/lib64 --with.mysql-root-password=rootpassword --with-font-path=/usr/share/fonts/dejavu/ --with-openssl=/usr --with-pgsql=/usr --with-apache=/usr --with-net-snmp=/usr --with-openipmi=/usr --with-ldap --with-libxml2 --with-libcurl --with-libyaml --with-libevent --with-libzmq

（5）安裝依賴：yum install -y libevent libevent-devel openssl openssl-devel libcurl libcurl-devel libxml2 libxml2-devel libyaml libyaml-devel

（6）執行make：make

（7）執行make install：make install

3、配置Zabbix服務器

（1）修改Zabbix服務器配置文件：vi /usr/local/zabbix/conf/zabbix_server.conf

（2）修改以下參數：

a. Server：允許連接的客戶端IP地址，Server=192.168.1.0/24

b. DBHost：數據庫服務器地址，DBHost=localhost

c. DBName：數據庫名稱，DBName=zabbix

d. DBUser：數據庫用戶名，DBUser=zabbix

e. DBPassword：數據庫密碼，DBPassword=zabbix

f. DBSocket：數據庫socket路徑，DBSocket=/var/lib/mysql/mysql.sock

g. StartIP：監控的開始IP地址，StartIP=192.168.1.1

h. EndIP：監控的結束IP地址，EndIP=192.168.1.255

i. ServerActive：Zabbix服務器地址，ServerActive=192.168.1.1:10050

j. ServerPort：Zabbix服務器端口，ServerPort=10050

（3）重啟Zabbix服務器：systemctl restart zabbix-server

4、配置Zabbix代理

（1）在Zabbix服務器上安裝Zabbix代理：yum install -y zabbix-agent

（2）修改Zabbix代理配置文件：vi /etc/zabbix/zabbix_agentd.conf

（3）修改以下參數：

a. Server：Zabbix服務器地址，Server=192.168.1.1

b. ServerPort：Zabbix服務器端口，ServerPort=10050

c. Hostname：主機名稱，Hostname=kafka

d. Timeout：超時時間，Timeout=300

（4）重啟Zabbix代理：systemctl restart zabbix-agent

5、創建Kafka監控模板

（1）在Zabbix服務器上創建Kafka監控模板：cd /usr/local/zabbix/share/zabbix

（2）創建Kafka監控模板文件：vi kafka_template.xml

（3）在文件中添加以下內容：

<?xml version="1.0" encoding="UTF-8"?>
<zabbix_export>
    <version>4.0</version>
    <date>2021-08-05T06:10:00Z</date>
    <groups>
        <group>
            <name>Templates</name>
        </group>
    </groups>
    <templates>
        <template>
            <template>Template Kafka</template>
            <name>Template Kafka</name>
            <description>Kafka監控模板</description>
            <groups>
                <group>
                    <name>Templates</name>
                </group>
            </groups>
            <applications>
                <application>
                    <name>Kafka</name>
                </application>
            </applications>
            <items>
                <item>
                    <name>Broker Count</name>
                    <type>0</type>
                    <key>broker.count</key>
                    <delay>60</delay>
                    <history>7d</history>
                    <trends>90d</trends>
                    <status>0</status>
                    <value_type>3</value_type>
                    <units></units>
                    <multi>1</multi>
                    <delta>0</delta>
                    <history>7d</history>
                    <trends>90d</trends>
                    <error_title>Broker Count</error_title>
                    <error_url>http://</error_url>
                    <error_message>Unable to get broker count</error_message>
                </item>
                <item>
                    <name>Topic Count</name>
                    <type>0</type>
                    <key>topic.count</key>
                    <delay>60</delay>
                    <history>7d</history>
                    <trends>90d</trends>
                    <status>0</status>
                    <value_type>3</value_type>
                    <units></units>
                    <multi>1</multi>
                    <delta>0</delta>
                    <history>7d</history>
                    <trends>90d</trends>
                    <error_title>Topic Count</error_title>
                    <error_url>http://</error_url>
                    <error_message>Unable to get topic count</error_message>
                </item>
                <item>
                    <name>Partition Count</name>
                    <type>0</type>
                    <key>partition.count</key>
                    <delay>60</delay>
                    <history>7d</history>
                    <trends>90d</trends>
                    <status>0</status>
                    <value_type>3</value_type>
                    <units></units>
                    <multi>1</multi>
                    <delta>0</delta>
                    <history>7d</history>
                    <trends>90d</trends>
                    <error_title>Partition Count</error_title>
                    <error_url>http://</error_url>
                    <error_message>Unable to get partition count</error_message>
                </item>
            </items>
            <graphs>
                <graph>
                    <name>Broker Count</name>
                    <show_3d>0</show_3d>
                    <show_work_period>1</show_work_period>
                    <show_triggers>1</show_triggers>
                    <show_graph_menu>1</show_graph_menu>
                    <show_legend>1</show_legend>
                    <show_legend_short_name>1</show_legend_short_name>
                    <show_values>1</show_values>
                    <show_max_min>1</show_max_min>
                    <show_triggers_name>1</show_triggers_name>
                    <show_triggers_short_name>1</show_triggers_short_name>
                    <yaxis_min>0</yaxis_min>
                    <yaxis_max>100</yaxis_max>
                    <graph_items>
                        <graph_item>
                            <name>Broker Count</name>
                            <type>0</type>
                            <snmp_community></snmp_community>
                            <snmp_oid></snmp_oid>
                            <key>broker.count</key>
                            <draw_type>0</draw_type>
                            <color>1</color>
                            <yaxisside>0</yaxisside>
                            <calc_fnc>0</calc_fnc>
                            <history>7d</history>
                            <trends>90d</trends>
                            <type_2>0</type_2>
                            <value_type>0</value_type>
                            <units></units>
                            <prcs>0</prcs>
                            <logtimefmt>1</logtimefmt>
                            <application_id>0</application_id>
                            <graph_item_value_type>0</graph_item_value_type>
                            <show_triggers>1</show_triggers>
                            <triggers>
                                <trigger>
                                    <description>Broker Count is above normal</description>
                                    <expression>{Template Kafka:broker.count[diff]}</expression>
                                    <url></url>
                                    <status>0</status>
                                    <priority>3</priority>
                                    <type>0</type>
                                    <operator>0</operator>
                                    <time_from>0</time_from>
                                    <time_till>0</time_till>
                                    <value_type>0</value_type>
                                    <recovery_mode>0</recovery_mode>
                                    <recovery_expression>{Template Kafka:broker.count[diff]}</expression>
                                    <

標簽：搭建