黑毛到白毛的攻城獅之路

Software entities (class, modules, functions, etc.) should be open for extension, but closed for modification.
- Bertrand Meyer

Junior programmers create simple solutions to simple problems. Senior programmers create complex solutions to complex problems. Great programmers find simple solutions to complex problems.
- Charles Connell

註1:本部落格的範例程式碼在 2015 年以前的文章中,大多是以全型空白做縮排。如需服用,請自行用文字編輯器的取代功能把全型空白取代成半型空白。
註2:本部落格的內容授權請參閱部落格底部的授權宣告。

2017年11月30日 星期四

AWS CloudWatch Filter

›
CloudWatch 的 Filter 功能,主要的目的好像是用來觀察指定的事件在某個時間區段中的發生狀況 所以總歸來說,適用在想要把結果劃成折線圖那種的狀況。 例如 AWS 官網給的範例 [2],都是屬於建立 Filter 去偵測某個特定樣式的 log 是否出現 出現的話,在 ...
2017年11月27日 星期一

在 Java 中把 AWS DynamoDB 的紀錄轉成 JSON

›
DynamoDB 上的紀錄,都會有像是 {“S”: “XXX”} 之類的格式,用以表示它在 DynamoDB 裡的型態 不過程式在處理時,這樣很麻煩~。 實務上,AWS SDK 裡提供了一些方法,可以幫我們去掉那些多餘的東西。 具體來說,例如以下的程式碼: ScanRequest...
2017年11月24日 星期五

AWS Lambda 呼叫另一個 AWS Lambda

›
一般來說,Lambda 都是透過中介服務去觸發的 例如透過 DynamoDB Stream、SNS、Kinesis、S3 等等的 當這些服務發生變更時,發送訊息觸發 Lambda。 不過實務上,Lambda 本身只要具備 Invoke 權限,就能夠直接透過 AWS 的 Lambd...
2017年11月22日 星期三

AWS SNS 的 Delivery Policy

›
在使用 SNS 時,需要考慮如果接收端處理 message 失敗了該怎麼辦? 如果沒有做特殊的設定,預設 SNS 是會直接走 Backoff Phase,重試三次、每次延遲 20 秒。 不過如果想要更多一點的重試,或者想設定比較複雜的行為,就需要稍微了解一下 SNS 的 Deli...
2017年11月21日 星期二

C# & SQLite

›
參考資料 SQLite 資料庫 C# 程式範例-使用 Dapper C# SQLite 教學 SQLite tutorial Getting started with SQLite in C# Using SQLite in your C# Application
2017年11月16日 星期四

在 Elasticsearch 上安裝 X-Pack

›
因為想要監控 Elasticsearch,所以就試著安裝了 X-Pack。 X-Pack 安裝流程請直接參考官方文件 [1] XD 因為只有幾個動作而已,這裡就省略了。

yum 鎖定軟體版本

›
以我的狀況來說,因為我的 Elasticsearch 有使用一些有限定版本的擴充套件 因此要避免 yum 不小心幫我把 Elasticsearch 升級。 要作到這個效果,可以使用 versionlock 這個工具 例如以下這樣,可以把 elasticsearch 和 kiban...
2017年11月12日 星期日

從 Jupyter 讀取 Windows 磁碟中的鐵達尼號資料

›
在書上的範例中,提到用鐵達尼號的資料做分析 不過書上範例所指的資料位址已經無法存取了。 稍微搜尋了一下,發現 Kaggle 也有提供這個資料 [1],而且是免費的。 從 [1] 下載資料下來之後,假設是放在 D:\test\data\titanic 這個資料夾裡,訓練用的資料命名...
2017年11月7日 星期二

透過 Anaconda 安裝 Tensorflow 與 Keras

›
下載並安裝 Anaconda 執行以下的指令建立 Python 虛擬環境 conda create --name tensorflow python=3.5 anaconda 啟用虛擬環境 activate tensorflow 安裝 Tensorflow pip install...
2017年9月21日 星期四

Elasticsearch 去除重複資料

›
最近一直在處理 Elasticsearch 資料重複的問題 程式當中想要在插入資料之前,先搜尋有沒有重複的資料 如果有的話就先把重複的資料砍到剩下一筆,然後針對那一筆做資料更新。 不過實務上,程式跑起來有些會成功完成 deduplication,但有些則依然重複。
‹
›
首頁
查看網路版

關於我

Wayne Yeh
檢視我的完整簡介
技術提供:Blogger.