跳到主要內容

Mount Google Cloud Storage...

Google Cloud Storage終於有神人提供fuse工具拉,也就是說可以透過mount的方式來掛載google coud storage (GCS)成為filessystem,下面是測試的狀況

Download & Install 


In Local:
$ gcutil push [your-instance-name] ~/Downloads/gcsfs-0.15-1.x86_64.rpm [your-instance-folder]
$ gcutil ssh [your-instance-name]

In remote:
$ cd [your-instance-folder]
$ sudo yum localinstall gcsfs-0.15-1.x86_64.rpm

Initial


Generate Access Token

$ mkdir .gcsfs
$ gcsfs_gs_get_token ~/.gcsfs/gs.token
Paste this URL into your browser:


Please enter the authorization code: 4/4VNfqTct.....mbpQjgI <--在這邊填入授權碼
curl_easy_handle::pre_init: ssl version: NSS/3.15.3
Done!

Check generated token


$ cat .gcsfs/gs.token
1/RnWOX.................oSFjBA


Make a Regional Bucket
$ gsutil mb -c DRA -l ASIA gs://simonbuckettw

Edit gcsfs.conf (/ect/gcsfs.conf)



[root@micloud-openvpn-01 ~]# cat /etc/gcsfs.conf | grep -v ^# | grep -v ^$
bucket_name=simonbuckettw
service=google-storage
gs_token_file=/root/.gcsfs/gs.token
default_mode=0755

Mount GCS


[root@micloud-openvpn-01 ~]# gcsfs /mnt

Check mount point


$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1       9.9G  2.0G  7.4G  22% /
tmpfs           296M     0  296M   0% /dev/shm
gcsfs              -     -     -    - /mnt


Test of mount Google Cloud Storage


Prepare files

exL dd if=/dev/zero of=/tmp/10M bs=1M count=10


大檔案測試

中型檔案測試





小檔案測試





整體測試結果


1. 看起來gcsfs尚未完整,在操作過程中不時出現error message,即使操作有完成,也會出現error...
2. 速度上差強人意,以nfs實測傳送1G檔案約需25秒的狀況,1G檔案存到gcsfs花了10分多鐘,不慎理想...


結論

原則上filesystem透過http協定做存取,加上傳需都需要做認證,實際使用上確實無法達到理想的效能,或許跟近端的nfs比較不太公平,有機會可以比較mount遠一點的nfs位置,可以比較真實了解速度上的差距...
但是若考慮將空間當作當做備份空間用,卻不失是一個好地方,給需要的人參考。


參考:http://thegeekinthecorner.wordpress.com/2013/11/24/gcsfs-a-fuse-driver-for-google-cloud-storage-now-available/

留言

這個網誌中的熱門文章

Google指令碼基本操作介紹 - Web Server篇

Google的指令碼是什麼東西呢?!原則上他就是Google的一份靜態檔案,但是透過Google的雲端服務平台的一些能力,將靜態檔案內的scriptlet片段拉到Google的後端作運算,寫起來就像在寫JavaScript(這邊說Node.js可能比較貼切,因為同為server side language)或JSP,而在scriptlet片段中,則可以操作許多Google的API服務,甚至他提供你連接JDBC的能力、URL呼叫的能力...等,宛如就是一套完整的雲端程式語言(這樣說應該不為過拉,這真是個創新!),有並駕於App Engine的氣勢喔!
Google指令碼的範圍很廣,筆者也仍在摸索中,之前介紹過透過Sheet+指令碼做一個簡單的URL監控(這裡),而本篇簡單介紹一下指令碼如何製作一個Web Server(嚴格說起來是Web Page拉,但是具備Server端運作功能喔!)。您將可以體驗到No-Hosting Web Server的威力!
指令碼是Google Drive的一個服務,Google將指令碼(Code)以檔案方式寄存在Drive中,類似的靜態檔案服務的應用,最近滿火紅的!

首先開啟指令碼時候,選擇"作為網路應用程式的指令碼",檔案開啟後,會有愈設定程式碼片段供編輯


程式碼片段大致上如下,是一個doGet function,Web base的指令碼需要認得doGet()作為server的進入點 如果選擇到空白專案的話,只要把doGet function建上即可

作為一個Cloud IDE,Google當然也有把Code Hint擺上來,透過簡單的提示,寫啟程是來就更容易拉!

而Web部分物件的建立主要是透過HtmlService這個模組來進行操作,我們利用他來output html, load static html page, load template html page..等,範例如下:
Output HTML: // Script-as-app template.
function doGet(e) {
  return HtmlService.createHtmlOutput("<h1>HELLO!</h1>");
}
透過上HtmlService的createHtmlOutput的功能,…

透過Google指令碼,存取Google Cloud SQL

既然Cloud SQL提供了MySQL的Feature 那麼透過指令碼(Apps Script)來存取Cloud SQL應該也是OK的拉! 這邊介紹一下在指令碼中操作的方式
首先要確認一下您在Cloud SQL中申請的DB Instance名稱 而名稱可以在API Console中找到

此範例是屬於手動執行的部份,因此這邊建一個test function來收容db query的code...
function test(){
  var conn = Jdbc.getCloudSqlConnection("jdbc:google:rdbms://[db instance name]/[db name]");
  var stmt = conn.createStatement();
  stmt.setMaxRows(100);
  var start = new Date();
  var sql = "select * from member_info";
  var rs = stmt.executeQuery(sql);
  Logger.log('SQL:' + sql);
  while(rs.next()){
    Logger.log('['+new Date().toString() + ']' + rs.getString(1) + '::' + rs.getString(2) );
  }
}
Project看起來像這樣:

此時,在工具列選擇要執行的Function後,點選執行按鈕,就可以執行撈取Cloud SQL的動作了...

執行時候會發現Google會跟您要求受權,請user同意讓Script Editor來執行這部份程式,同意後才可以執行... 這部份是說,如果將來把這段程式碼放到Web Service中時候,該Web Service App也需要經過授權才能使用...

New Google Form Feature...

Google這次在Google Form上面做了一些改變...原本的Google Form背後都會連結到一個特定的表單(一個Form一個表單) 這次的修改就是針對這部份的限制做改善 目前可以透過Form編輯的頁面上"選擇回憶目的地"來選擇...



這邊是選擇的畫面,可以選擇新的試算表或是選擇現有的試算表中的新工作表...


如此一來,表單的運作將更具彈性拉!
詳細的Google說明,可以在這邊找到:https://support.google.com/drive/bin/answer.py?hl=en&answer=2917686&p=forms_response