Elasticsearch 去除重複資料

最近一直在處理 Elasticsearch 資料重複的問題
程式當中想要在插入資料之前，先搜尋有沒有重複的資料
如果有的話就先把重複的資料砍到剩下一筆，然後針對那一筆做資料更新。
不過實務上，程式跑起來有些會成功完成 deduplication，但有些則依然重複。

透過 AWS Lambda 開發 Serverless Framework（三）：使 Lambda 函式擁有 Internet 存取權

Lambda 函式在部署的時候，預設是不會帶有任何網路設定的
因此我們沒辦法知道 Lambda 實際的 IP 位址等等的資訊。
在一些單純的程式中，這可能沒什麼
但如果是在系統的 pipeline 裡，Lambda 需要去存取其他非公開服務時，可能就會有問題了。