(書籤) Spark 與 Storm 相關資源

參考資料：Spark 與 Storm 相關

1. Apache storm vs. Spark Streaming (2014-08-11)
2. Storm vs. Spark Streaming: Side-by-side comparison (2014-06-12)
3. Storm与Spark：谁才是我们的实时处理利器 (2014-12-15)

參考資料：Resource Manager 相關

1. 深入浅出Mesos (2015-11-22)
2. A tale of two clusters: Mesos and YARN (2015-02-12)

分散式儲存系統 Ceph（三）：使用 inkScope 觀察 Ceph 狀態（2015-04-19 編輯）

inkScope 是由 Inktank 公司主導的一個 Ceph 網頁式管理工具
主要目的是提供視覺化的 Ceph 狀態監控～。

圖片轉錄自 Github

分散式儲存系統 Ceph（二）：利用 ceph-deploy 部署 Ceph 叢集（2015-06-06 編輯）

Ceph 官方提供兩種安裝方式，一種是自行安裝（manual installation），另一種是透過部署工具（ceph-deploy）來部署。
雖然我自己也做過自行安裝，不過不知道哪裡弄錯了，成功次數有點少 XD
所以記錄下來的，主要是透過 ceph-deploy 工具的部署方法。

PS. 其實不看這篇文章，直接看官方文件也是一樣的～。

分散式儲存系統 Ceph（一）：Ceph 系統架構 （2015-05-19 最後修改）

(書籤) Ceph 效能調校

相關參考資料：

1. Ceph Performance Part 1: Disk Controller Write Throughput
2. Ceph Performance Part 2: Write Throughput Without SSD Journals 
3. CEPH poor performance (4 nodes) -> config error? 

Block Device

1. RBD – MANAGE RADOS BLOCK DEVICE (RBD) IMAGES
2. DATA STRIPING

三主機安裝 OpenStack Juno（四）：安裝 Network Node

前言：

這系列的文章只是我自己的 OpenStack Juno 安裝記錄，不過基本上內容都跟官方文件一樣
只是把一些細節整合起來，讓安裝時的設定稍微沒那麼繁瑣一點
但如果想知道各個步驟的原因以及用途，建議還是應該回頭去看看官方的安裝文件。

三主機安裝 OpenStack Juno（三）：安裝 Compute Node

前言：

這系列的文章只是我自己的 OpenStack Juno 安裝記錄，不過基本上內容都跟官方文件一樣
只是把一些細節整合起來，讓安裝時的設定稍微沒那麼繁瑣一點
但如果想知道各個步驟的原因以及用途，建議還是應該回頭去看看官方的安裝文件。

三主機安裝 OpenStack Juno（二）：安裝 Controller Node

前言：

這系列的文章只是我自己的 OpenStack Juno 安裝記錄，不過基本上內容都跟官方文件一樣
只是把一些細節整合起來，讓安裝時的設定稍微沒那麼繁瑣一點
但如果想知道各個步驟的原因以及用途，建議還是應該回頭去看看官方的安裝文件。

三主機安裝 OpenStack Juno（一）：安裝環境介紹

記錄一下安裝 OpenStack Juno 的過程。其實大體上都是遵照官方文件去做的，只是把一些流程整合起來而已
除了一開始安裝 Identity 的時候有一大票的指令（指令基本上是參考 [2] 做微調而來的，不過其實內容也就是官方文件的統整）
整合最多的大概都是改設定文件的動作。
官方文件為了簡要解釋每個動作的用意，把很多編輯同一個設定檔的動作都分開寫～
所以照個文件一個指令一個動作，其實是有點繁雜～
但反過來說，如果想知道每個設定是做什麼用的，建議還是應該回頭去看官方文件上的說明（還有設定檔上的註解）。

什麼是 container？跟 hypervisor 有什麼差別？

網路上關於這個問題有不少完整的解答可以參考，以下是目前看到覺得可以參考的資料。

參考資料：
1、VM太肥 紅帽擁抱新型輕量級虛擬化
2、初探Docker - Docker 跟 LXC 以及一般Hypervisor有何差別？
3、Linux 核心虛擬技術 (PDF)

設定 OpenStack Neutron 並讓 VM 取得外部連結

簡單說明一下環境，本篇文章中用的 OpenStack 是使用 Fuel 5.1 [1] 佈署出來的 Mirantis OpenStack
因為佈署時不想影響到其他實體網路，因此將 OpenStack 移至虛擬區網的網段，IP 位址為 10.5.*.*。

Fuel 5.1 佈署時的設定如下。

Public Network -- 聯外的實體網路。這個網路區段是讓被 Fuel 佈署的節點取得可被外部存取的 public IP，必須搭配節點佈署時的網路介面設定。

IP Range: Start 10.5.4.2, End 10.5.4.254
CIDR: 10.5.0.0/16
Use VLAN tagging: false
Gateway: 10.5.0.1

Management Network -- 內部溝通的區域網路。Fuel 佈署出來的節點會使用這個網段做溝通，例如 Compute Node 的 Nova 嘗試連接 Controller Node 的 AMQP 服務時，就會透過這個網段連接。

CIDR: 192.168.101.0/24
Use VLAN tagging: false

Storage Network -- 內部溝通的區域網路。照名字來看是被 Cinder、Swift 或者 Ceph 等儲存服務使用的網路..吧。

CIDR: 192.168.102.0/24
Use VLAN tagging: false

Neutron L3 Configuration -- OpenStack 佈署後的 Neutron 設定。此處的設定會反應在 OpenStack 佈署完後，預設建立出來的虛擬路由器的設定。

Internal network CIDR: 192.168.111.0/24
Internal network gateway: 192.168.111.1
Floating IP ranges: Start 10.5.5.2, End 10.5.5.254
DNS Servers: 8.8.4.4, 8.8.8.8

針對 Neutron L3 Configuration 的部份記錄一下，Fuel 佈署完的 OpenStack 預設會先產生好一個虛擬路由器
虛擬路由器會有兩個介面，一個是內部網路，IP 位址的分配會被 Internal network 的設定所限制；
另一個則是外部閘道，IP 位址的分配為 Floating IP ranges 設定的範圍。

OpenStack Nova 使用外部 DHCP 的設定方法

最近試了蠻久的 OpenStack 設定，目前最新版的 icehouse 版本有 Neutron 這個網路套件
不過我們實驗了一段時間，一直沒辦法把 Neutron 設定好
後來改嘗試完全不使用 Neutron，而是使用原本 Nova 自帶的 Nova Network 套件。

其中因為我們暫時的目標是要能夠透過 ssh 直接連上 OpenStack 上的虛擬機器，因此設定選用 FlatManager 這個最基本的網路設定。
補充：FlatManager 在某些方面不太被認同，可以參考 [8] 的討論。

OpenStack Cinder 使用磁碟的概念

在 OpenStack 中，關於儲存的服務有 Cinder（Block Storage）以及 Swift（Object Storage）
其中 Cinder 在定位上強調的是永久並且快速的儲存空間
同時 Cinder 也在運算單元產生虛擬機器時，負責提供虛擬機器所需要的實體空間。

OpenStack Swift 的儲存結構最佳化

當需要使用大型雲端基礎建設時，在國外有蠻多企業選擇 OpenStack 這個開源雲端專案。
OpenStack 裡面又有 Swift（不是 Apple Swift 程式語言 XD）這個 Object Storage 服務，可以提供關於物件儲存的解決方案。
Swift 主要提供的是高可用性且易於擴展的儲存服務～
它的儲存結構中區分為 account、container 以及 object 三個階層
因此想要建構在 OpenStack 之上的應用服務時，也需要稍微思考一下要如何去建構 Swift 的結構。

在 ubuntu 安裝 All-In-One 開發版的 OpenStack

想要安裝 OpenStack 時，一般是可以直接看官方文件一步一步安裝
但因為中間設定很多又很繁雜，開發階段可以用 DevStack 來簡化安裝過程。
要使用 DevStack 來安裝，動作很簡單～
以 ubuntu 來說，只需要在一台剛裝好的 ubuntu 上安裝 git，然後用 git 的指令從 github 上把 DevStack 的安裝包下載下來
最後執行 DevStack 上的安裝指令 [1] 就可以一鍵安裝完成。