跳到主要內容

使用SNMP監控Linux CPU並整合Google Cloud Monitor

Google Cloud Monitor是什麼

Google Cloud Monitor簡單的說是Cloud Monitor API與StackDriver服務的總和。Google透過Cloud Monitor提供所有Google Cloud上的一些操作記錄以及讓開發者可以自訂自己的Monitor來在同一個平台上監控。
下面展示的是透過SNMP來蒐集主機的CPU資訊,並且透過Google Cloud Monitor來蒐集這些資訊,呈現在StackDriver的Dashboard上。

SNMP CPU資訊設定

如前面SNMP章節所建,我們可以在snmpd.conf中加入CPU load average的設定,讓SNMP可以讀到CPU的資訊。
# vim /etc/snmp/snmpd.conf
(skip)
1 minute Load: .1.3.6.1.4.1.2021.10.1.3.1
5 minute Load: .1.3.6.1.4.1.2021.10.1.3.2
15 minute Load: .1.3.6.1.4.1.2021.10.1.3.3
(skip)
修改完成後,請restart snmp daemon已更新執行狀態。

Create monitor to metrics script

在轉入資料到Cloud Monitor中的部分,需要透過一些程式來進行,下面是欲透過fluentd exec模組來塞資料進到Cloud Monitor的程式片段,目的是從fluentd exec收到欲轉入到Cloud Monitor的資料,並且將資料輸入到Cloud Monitor...
接收到的資料範例:
{"name":"UCD-SNMP-MIB::laLoad.1","value":0.0}
{"name":"UCD-SNMP-MIB::laLoad.2","value":0.0}
{"name":"UCD-SNMP-MIB::laLoad.3","value":0.0}
test.js的部分:
//file: test.js
var fs = require('fs');
var metric = require('gcmetrics');
var txt = fs.readFileSync(process.argv[2],'utf8');
var project_id = 'mitac-cp300-taipei101';

metric.init({
  scope: 'https://www.googleapis.com/auth/monitoring',
  client_email: "your-service-account@developer.gserviceaccount.com",
  key_pem: "/path/to/your/pem"
});

function insert(metricid, cid, value) {
  metric.writeTimeSeries(
    project_id,
    metricid,
    value,
    {"custom.cloudmonitoring.googleapis.com/laLoad" : cid},
    null,
    null,
    function(err, req, doc){
        if(err) console.log('ERROR:', err);
        console.log(doc);
    });
}

if(txt)
txt.split('\n').forEach(function(line){
  if(line.length > 0) {
    var vo = JSON.parse(line);
    console.log('vo:', vo);
    if(vo)
      insert('cpuloadavg', vo.name, vo.value);
  }
})
這段程式是透過Node.js撰寫,因此如果未安裝Node.js程式,則需要先行安裝... 安裝後需要另外安裝gcmetrics模組,可以在您的程式路徑執行下面指令安裝:
$ npm init
...(skip)
$ npm install gcmetrics --save

Fluentd設定

完成上面程式後,在fluentd端,可以按照下面設定:
<source>
  type snmp
  tag snmp.server1
  nodes name, value
  host localhost
  community idv90we3rnov90wer # 這是config檔案中的community的設定
  mib laLoad.1, laLoad.2, laLoad.3
  mib_modules UCD-SNMP-MIB
  method_type get
  polling_time 5
  polling_type async_run
</source>

<match **>
  type copy
  <store>
    type stdout
    output_type json
  </store>
  <store>
    type exec
    command /opt/node/bin/node /path/to/your/test.js
    format json
    time_format %Y-%m-%d %H:%M:%S
    flush_interval 5s
    buffer_path    /tmp/
  </store>
</match>
上面的設定,原則上會每5秒鐘到snmp端口查詢snmp資料,並且把資料丟給test.js做處理...

Google Cloud Monitor - StackDriver設定

完成了Fluentd與Cloud Monitor程式的設定後,接下來我們可以透過Google Cloud Monitor(StackDriver)來建置即時監控的報表:
首先,可以在StackDriver中找到自訂Dashboard(Dashboards > Create...),然後點選右上角的"Add Chart"來建立自己的圖表:
Google Cloud Monitor Dashboard
如果一切無誤,則可以看到類似這樣的圖表:
StackDriver Chart
有了圖表,接下來可以建立自己的告警功能,透過StackDriver功能列Alerting > Create Alerting Policy可以建立通知告警!
StackDriver Create Alert Policy

留言

這個網誌中的熱門文章

Google指令碼基本操作介紹 - Web Server篇

Google的指令碼是什麼東西呢?!原則上他就是Google的一份靜態檔案,但是透過Google的雲端服務平台的一些能力,將靜態檔案內的scriptlet片段拉到Google的後端作運算,寫起來就像在寫JavaScript(這邊說Node.js可能比較貼切,因為同為server side language)或JSP,而在scriptlet片段中,則可以操作許多Google的API服務,甚至他提供你連接JDBC的能力、URL呼叫的能力...等,宛如就是一套完整的雲端程式語言(這樣說應該不為過拉,這真是個創新!),有並駕於App Engine的氣勢喔!
Google指令碼的範圍很廣,筆者也仍在摸索中,之前介紹過透過Sheet+指令碼做一個簡單的URL監控(這裡),而本篇簡單介紹一下指令碼如何製作一個Web Server(嚴格說起來是Web Page拉,但是具備Server端運作功能喔!)。您將可以體驗到No-Hosting Web Server的威力!
指令碼是Google Drive的一個服務,Google將指令碼(Code)以檔案方式寄存在Drive中,類似的靜態檔案服務的應用,最近滿火紅的!

首先開啟指令碼時候,選擇"作為網路應用程式的指令碼",檔案開啟後,會有愈設定程式碼片段供編輯


程式碼片段大致上如下,是一個doGet function,Web base的指令碼需要認得doGet()作為server的進入點 如果選擇到空白專案的話,只要把doGet function建上即可

作為一個Cloud IDE,Google當然也有把Code Hint擺上來,透過簡單的提示,寫啟程是來就更容易拉!

而Web部分物件的建立主要是透過HtmlService這個模組來進行操作,我們利用他來output html, load static html page, load template html page..等,範例如下:
Output HTML: // Script-as-app template.
function doGet(e) {
  return HtmlService.createHtmlOutput("<h1>HELLO!</h1>");
}
透過上HtmlService的createHtmlOutput的功能,…

透過Google指令碼,存取Google Cloud SQL

既然Cloud SQL提供了MySQL的Feature 那麼透過指令碼(Apps Script)來存取Cloud SQL應該也是OK的拉! 這邊介紹一下在指令碼中操作的方式
首先要確認一下您在Cloud SQL中申請的DB Instance名稱 而名稱可以在API Console中找到

此範例是屬於手動執行的部份,因此這邊建一個test function來收容db query的code...
function test(){
  var conn = Jdbc.getCloudSqlConnection("jdbc:google:rdbms://[db instance name]/[db name]");
  var stmt = conn.createStatement();
  stmt.setMaxRows(100);
  var start = new Date();
  var sql = "select * from member_info";
  var rs = stmt.executeQuery(sql);
  Logger.log('SQL:' + sql);
  while(rs.next()){
    Logger.log('['+new Date().toString() + ']' + rs.getString(1) + '::' + rs.getString(2) );
  }
}
Project看起來像這樣:

此時,在工具列選擇要執行的Function後,點選執行按鈕,就可以執行撈取Cloud SQL的動作了...

執行時候會發現Google會跟您要求受權,請user同意讓Script Editor來執行這部份程式,同意後才可以執行... 這部份是說,如果將來把這段程式碼放到Web Service中時候,該Web Service App也需要經過授權才能使用...

New Google Form Feature...

Google這次在Google Form上面做了一些改變...原本的Google Form背後都會連結到一個特定的表單(一個Form一個表單) 這次的修改就是針對這部份的限制做改善 目前可以透過Form編輯的頁面上"選擇回憶目的地"來選擇...



這邊是選擇的畫面,可以選擇新的試算表或是選擇現有的試算表中的新工作表...


如此一來,表單的運作將更具彈性拉!
詳細的Google說明,可以在這邊找到:https://support.google.com/drive/bin/answer.py?hl=en&answer=2917686&p=forms_response