跳到主要內容

Cloud APP上傳檔案與下載策略

在Cloud APP上傳檔案與下載時,因為顧及到主機Scale out時候檔案存放位置會影響到Scale out出來的主機如何存取新上傳的檔案,在雲端,透過Cloud Storage是一個不錯的解決方案...

Node.js跟許多語言在file upload的處理方式有點不同,以Express為例,我們可以透過app.use()來導入其他的模組作為控管檔案上傳的部分,而我最常使用的是multr這個模組... 這次透過一些改寫,希望基於multr讓上傳、下載的動作直接結合Cloud Storage來作為存取的位置。

下面這是整個上傳與下載的示意圖:



上圖分成兩個部分:
  • 上傳的部分,無論如何直接將一份副本複製到Cloud Storage
  • 下載的部分,主要依循幾個策略:
    • 如果本地端有檔案,則直接使用本地端檔案回覆
    • 如果本地端無檔案,系統直接到Cloud Storage拉檔案
    • 承上,如果使用者允許cache,可以在拉完Cloud Storage檔案後,在存放一個副本在本地端,之後就可以支援從本地端存取功能
上面所述,因為效能關係,可能會開啟cache的功能,如果上傳的檔案名稱不是唯一,則可能重複上傳後再本地端會有舊資料問題,為了避免這個問題,在設定檔中可以指定上傳時候不維持原檔名,這樣每次上傳會以重新編碼檔名,讓每一個物件名稱不會重複。

安裝

npm install express-gcs-uploader --save

設定

Step1: 與Cloud Storage認證部分設定

var gcsuplder = require('express-gcs-uploader');
gcsuplder.auth({
  rootdir: __dirname, //設定專案目錄位置,在這邊是為了對應uploads目錄用
  upload_url: '/uploads', //上傳檔案的資料夾
  download_url: '/download', //檔案下載的路由
  cdn_url: 'http://your.bucket.com.tw', //option: 如果GCS設定為public或是website buket,則可以直接由此位置提供服務
  keep_filename: true, //option: 是否保留原本檔案名稱
  cache: true, //option: 是否每次下載完儲存一份在本地端
  bucket: 'your.bucket.com.tw', //GCS bucket名稱
  projectId: 'your-project-id', //GCP專案名稱
  keyFilename: '/path/to/your/key.json' //Service Account的json key位置
});
Step2: 設定下載的route使用downloadproxy
app.use('/downloads/:id', gcsuplder.downloadproxy);
如上設定,則可以在下面網址存取一個上傳的檔案: http://localhost:3000/downloads/e13b6a98a0d50b5990123a83eb87f2a8.png 
其中,“:id”到時候帶入的會是檔案名稱。

上述模組,發佈在Github給大家參考:https://github.com/peihsinsu/express-gcs-uploader

留言

這個網誌中的熱門文章

Google指令碼基本操作介紹 - Web Server篇

Google的指令碼是什麼東西呢?!原則上他就是Google的一份靜態檔案,但是透過Google的雲端服務平台的一些能力,將靜態檔案內的scriptlet片段拉到Google的後端作運算,寫起來就像在寫JavaScript(這邊說Node.js可能比較貼切,因為同為server side language)或JSP,而在scriptlet片段中,則可以操作許多Google的API服務,甚至他提供你連接JDBC的能力、URL呼叫的能力...等,宛如就是一套完整的雲端程式語言(這樣說應該不為過拉,這真是個創新!),有並駕於App Engine的氣勢喔!
Google指令碼的範圍很廣,筆者也仍在摸索中,之前介紹過透過Sheet+指令碼做一個簡單的URL監控(這裡),而本篇簡單介紹一下指令碼如何製作一個Web Server(嚴格說起來是Web Page拉,但是具備Server端運作功能喔!)。您將可以體驗到No-Hosting Web Server的威力!
指令碼是Google Drive的一個服務,Google將指令碼(Code)以檔案方式寄存在Drive中,類似的靜態檔案服務的應用,最近滿火紅的!

首先開啟指令碼時候,選擇"作為網路應用程式的指令碼",檔案開啟後,會有愈設定程式碼片段供編輯


程式碼片段大致上如下,是一個doGet function,Web base的指令碼需要認得doGet()作為server的進入點 如果選擇到空白專案的話,只要把doGet function建上即可

作為一個Cloud IDE,Google當然也有把Code Hint擺上來,透過簡單的提示,寫啟程是來就更容易拉!

而Web部分物件的建立主要是透過HtmlService這個模組來進行操作,我們利用他來output html, load static html page, load template html page..等,範例如下:
Output HTML: // Script-as-app template.
function doGet(e) {
  return HtmlService.createHtmlOutput("<h1>HELLO!</h1>");
}
透過上HtmlService的createHtmlOutput的功能,…

透過Google Apps Script結合Google Form做即時郵件通知

體驗過Google Apps Script的功能後,也發現他結合GmailApps的模組GmailApps的應用可以用在表單填寫完成後,做發信的通知 例如您開立了一個訂購的表單,為了要在第一時間通知商家有訂單進入 就可以直接呼叫Gmail做發信的通知,讓手持Smart Phone的我們可以很快的知道生意上門了!
下面規劃三個function,其中: onCommit():為form commit時候觸發的function,需要掛載於form commit trigger上
jsonArrToTable():目的將json array解析成為一個Table
getLastRowTable():目的將整個table的回傳過濾為剩下第一筆(表頭,含有Form的欄位說明)與最後一筆(原則上就是剛剛送出的那一筆表單)完整程式碼如下: function onCommit(){
  var sheet = SpreadsheetApp.getActiveSheet();
  var rows = sheet.getDataRange();
  var numRows = rows.getNumRows();
  var values = rows.getValues();
  var content = getLastRowTable(values);
  var htmlBody = "Hi Admin: <br/><br/>有訂單拉,檢查一下吧! <br/><br/>" + content + '<br/><br/>Send by Google Apps';
  GmailApp.sendEmail(
    "your-email-address@gmail.com", 
    "Order Confirm Notice", 
    htmlBody, 
    {from: 'from-email-address@gmail.com', htmlBody:htmlBody}
  ); 
}
function getLastRowTable(arr){
  var newArr = new Array();
  newArr.p…

存取docker container內的檔案

Docker既然是container概念存在,就想到應該可以透過原filesystem找到對應的container內的檔案Google了一下,在/var/lib/docker/這個目錄底下可以找到對應的container實際存在的位置... 列印一下目錄可以發現aufs/mnt下有一堆長檔名的資料夾...


透過docker ps或是進入到docker container後,可以看得到docker的instance id 範例中是:61ba7253b842


因此進入到"/var/lib/docker/aufs/mnt/"後,後面加讓instance id後,在透過tab補字可以列出該container相關資訊 其中會包含一個有"-init"跟一個純instance id的資料夾...


列表一下這兩個資料夾


其中無"-init"的目錄存放的就是container對應的磁碟位置
測試一下檔案的存取....,切到該目錄下,touch一個檔案...


結果真的可以在container內部看到對應touch出來的檔案


透過可見的目錄位置,container與host在某個層鍍上可以互通許多東西喲... 檔案傳輸也不用再透過scp或ftp方式存取,超方便的拉!