最近一直在處理 Elasticsearch 資料重複的問題
程式當中想要在插入資料之前，先搜尋有沒有重複的資料
如果有的話就先把重複的資料砍到剩下一筆，然後針對那一筆做資料更新。
不過實務上，程式跑起來有些會成功完成 deduplication，但有些則依然重複。
Software entities (class, modules, functions, etc.) should be open for extension, but closed for modification. Junior programmers create simple solutions to simple problems. Senior programmers create complex solutions to complex problems. Great programmers find simple solutions to complex problems. 註1：本部落格的範例程式碼在 2015 年以前的文章中，大多是以全型空白做縮排。如需服用，請自行用文字編輯器的取代功能把全型空白取代成半型空白。
- Bertrand Meyer
- Charles Connell
註2：本部落格的內容授權請參閱部落格底部的授權宣告。
2017年9月21日 星期四
Elasticsearch 去除重複資料
2017年9月13日 星期三
透過 AWS Lambda 開發 Serverless Framework（三）：使 Lambda 函式擁有 Internet 存取權
Lambda 函式在部署的時候，預設是不會帶有任何網路設定的
因此我們沒辦法知道 Lambda 實際的 IP 位址等等的資訊。
在一些單純的程式中，這可能沒什麼
但如果是在系統的 pipeline 裡，Lambda 需要去存取其他非公開服務時，可能就會有問題了。