prometheus三件套-讓你的日常巡檢飛起來

一、編寫目的

爲滿足運維監控告警需求,提高故障發現及時率。本文將著重描述grafana、prometheus、alertmanager、*exporter安裝

二、定義

  • grafana:監控數據可視化展現
  • prometheus:收集和存儲時間序列數據
  • alertmanager:告警數據分類整理並通知
  • *exporter:包括各種數據監控組件,用于采集監控數據

三、硬件環境安裝1、硬件需求

需要准備單台配置爲(CUP:2*12核,內存256GB,磁盤容量2TB+萬兆以太網)及以上配置,至少2台及以上分布式集群環境中。

四、軟件環境安裝

操作系統CentOS7.5桌面版

五、Prometheus組件安裝(Win環境部署)

1、上傳安裝包:sever和client
2、安裝 grafana
監控數據可視化界面,作爲prometheus可視化界面的擴展,默認端口3000。訪問路徑:http://ip:3000/ 默認用戶密碼admin/admin。

解壓:server\app\win\grafana-6.2.5.zip
管理員權限執行:grafana-server.exe文件即可。

3、安裝prometheus
作爲被監控主機web信息采集器,安裝在被監控主機,作爲監控主機,收集和存儲時間序列數據,默認端口9090,可修改端口。訪問路徑:http://ip:9090/。
解壓: server\app\ win\

prometheus-2.11.0-rc.0.windows-amd64.zip
管理員權限執行:prometheus.exe文件即可。

4、安裝alertmanager
使用普羅米修斯進行警報分爲兩部分。Prometheus服務器中的警報規則會向Alertmanager發送警報。然後,Alertmanager 管理這些警報,包括靜音,禁止,聚合以及通過電子郵件、Webhook等方法發送通知,默認端口9093,可修改端口。

解壓: server\app\win
prometheus-2.11.0-rc.0.windows-amd64.zip
管理員權限執行:alertmanager.exe文件即可。

5、安裝win服務器監控客戶端

管理員權限執行:client\app\win
wmi_exporter-0.8.3-amd64.exe

默認端口9182。

五、Prometheus組件安裝(Linux環境部署)

1、上傳安裝包:server和client到/opt/prometheus/

mkdir /opt/prometheus

2、安裝 grafana
監控數據可視化界面,作爲prometheus可視化界面的擴展,默認端口3000。訪問路徑:http://ip:3000/ 默認用戶密碼admin/admin。

cd /opt/prometheus/server/app/linx/
執行rpm -ivh grafana-6.0.2-1.x86_64.rpm
啓動:systemctl start grafana-server
停止:systemctl stop grafana-server
驗證:正常訪問http://ip:3000/ 默認用戶密碼admin/admin
注:json模板後續補充

3、安裝prometheus&&alertmanager
prometheus作爲被監控主機web信息采集器,安裝在被監控主機,作爲監控主機,收集和存儲時間序列數據,默認端口9090,可修改端口。訪問路徑:http://ip:9090/。
alertmanager使用普羅米修斯進行警報分爲兩部分。Prometheus服務器中的警報規則會向Alertmanager發送警報。然後,Alertmanager 管理這些警報,包括靜音,禁止,聚合以及通過電子郵件、Webhook等方法發送通知,默認端口9093,可修改端口。

cd /opt/prometheus/server/
sh deploy.sh

prometheus:

cd /opt/prometheus/server/shell/
啓動腳本:sh /app/prometheus/prometheus_startup.sh
停止腳本:sh /app/prometheus/prometheus_shutdown.sh

Alertmanager:

啓動腳本:sh /app/prometheus/alertmanager_startup.sh
停止腳本:sh /app/prometheus/alertmanager_shutdown.sh

安裝linux服務器監控客戶端:

  • node_exporter用于監控主機性能,必須安裝在被監控主機上,默認端口9100。
  • process_exporter用于監控主機進程,必須安裝在被監控主機上,默認端口9256。
  • blackbox_exporter可安裝在監控主機用于監控該主機是否能正常連通其他主機端口,默認端口9115。
  • postgresql_exporter用于監控pg數據庫自定義監控指標,默認端口9187。

cd /opt/prometheus/client/
sh deploy.sh

開放端口:

node_exporter端口9100process_exporter端口:9256blackbox_exporter端口:9115postgres_exporter端口:9187

啓動腳本:

cd /app/prometheus/
sh node_startup.sh
sh process_startup.sh
sh blackbox_startup.sh

停止腳本:

cd /app/prometheus/
sh node_shutdown.sh
sh process_ shutdown.sh
sh blackbox_ shutdown.sh

六、prometheus+grafana配置賞析

1、prometheus強制使用UTC世界統一時間
可以在grafana修改時間爲浏覽器當前時間

prometheus三件套-讓你的日常巡檢飛起來


2、prometheus+alertmanager實現熱加載
prometheus啓動帶參數:prometheus --web.enable-lifecycle --web.enable-admin-api
alertmanger無需帶參數
curl -X POST http://172.16.101.54:9090/-/reload
curl -X POST http://172.16.101.54:9093/-/reload

3、grafana新增餅圖組件
LINUX:

grafana-cli plugins install grafana-piechart-panelsystemctl restart grafana-server

WINDOWS:
下載插件包,將插件json文件複制到插件對應的目錄下:
如D:…\data\plugins\grafana-piechart-panel

下期預告:基于prometheus自研告警平台-讓告警排好隊