做個記錄,寫了一段會一直重複下載同樣一群 RSS 網頁的程式碼
在測試時發現寫的程式碼第一次執行時正常、第二次執行到一半開始一直 timeout
但關掉程式再重新啟動時,第一次又恢復正常,然後一樣第二次差不多地方開始一直 timeout
存取其他不同網址的網頁時則好像沒問題~
最後發現是因為程式碼在最後忘了把 CloseableHttpResponse 關掉(即呼叫 close() 函式)。
Software entities (class, modules, functions, etc.) should be open for extension, but closed for modification. Junior programmers create simple solutions to simple problems. Senior programmers create complex solutions to complex problems. Great programmers find simple solutions to complex problems. 註1:本部落格的範例程式碼在 2015 年以前的文章中,大多是以全型空白做縮排。如需服用,請自行用文字編輯器的取代功能把全型空白取代成半型空白。
- Bertrand Meyer
- Charles Connell
註2:本部落格的內容授權請參閱部落格底部的授權宣告。
2016年2月17日 星期三
2016年1月18日 星期一
架設自己的 Maven Repository Server(二):發佈專案到 Nexus
在前一篇文章「架設自己的 Maven Repository Server(一):使用 Nexus 架設 Maven Repository Server」中
已經用 Nexus 建好一台非公開的 Maven Repository Server
接下來在這篇中就要把專案發佈到 Nexus 上了。
2016年1月11日 星期一
使用 Maven 打包 jar,並將引用的 dependencies 一併打包
在匯出 jar 時,如果是用在 Spark 或 Storm 這類平台
就沒有簡短的途徑,一定要把 jar 引用到的所有第三方函式庫,一併全打包進 jar 裡
在 Maven 中可以透過設定幾個 build 參數來達成。
就沒有簡短的途徑,一定要把 jar 引用到的所有第三方函式庫,一併全打包進 jar 裡
在 Maven 中可以透過設定幾個 build 參數來達成。
在 Ubuntu 14.04 安裝 MongoDB 3.2:使用 WiredTiger 儲存引擎
這篇主要是嘗試在 Ubuntu 14.04 的環境中,使用 6 台主機建置一個基於 WiredTiger 引擎的 MongoDB 叢集。
其中會以兩台主機建成 Shard 的 replica set、以三台主機建成 Config 的 replica set,並以一台主機作為 Mongos
其中會以兩台主機建成 Shard 的 replica set、以三台主機建成 Config 的 replica set,並以一台主機作為 Mongos
2015年12月29日 星期二
2015年12月28日 星期一
(書籤) Tor
參考資料:
- Prevent Custom Web Crawler from being blocked
- java - How to use Tor combine with Java
- Why Tor is slow and what we're going to do about it (2009-03-13)
2015年12月25日 星期五
2015年12月23日 星期三
(書籤) Spark 與 Storm 相關資源
參考資料:Spark 與 Storm 相關
- Apache storm vs. Spark Streaming (2014-08-11)
- Storm vs. Spark Streaming: Side-by-side comparison (2014-06-12)
- Storm与Spark:谁才是我们的实时处理利器 (2014-12-15)
- 深入浅出Mesos (2015-11-22)
- A tale of two clusters: Mesos and YARN (2015-02-12)
2015年11月30日 星期一
在 JMeter 中驗證 JSON
在使用 JMeter 做自動化測試時,想要用比較簡單的方式處理網站回覆的 JSON
簡單查了點資料後,看起來預設的方法應該是用 JSR223 Post Processor 或者 BSF Post Processor
不過從 [1] 的描述看來,這個作法因為要把回應轉成 JavaScript 語法,實際跑起來效率頗低
如果遇到要執行的 concurrent thread 很多時,可能會把 CPU 吃滿。
簡單查了點資料後,看起來預設的方法應該是用 JSR223 Post Processor 或者 BSF Post Processor
不過從 [1] 的描述看來,這個作法因為要把回應轉成 JavaScript 語法,實際跑起來效率頗低
如果遇到要執行的 concurrent thread 很多時,可能會把 CPU 吃滿。
訂閱:
文章 (Atom)