Scher與Jinwei是我們?nèi)蝿?wù)調(diào)度的兩個不同類型的區(qū)分。他們分別完成定時和實(shí)時任務(wù)的調(diào)度。

    它們基于Albianj實(shí)現(xiàn)，有著相同的物理與邏輯架構(gòu)，并且有著90%重疊的功能，但是我們卻在設(shè)計、開發(fā)與部署的時候進(jìn)行了強(qiáng)制性的隔離，這里的原因痛苦而無奈，想知道為什么嗎？來，我告訴你。

    ▍ 2. 高性能開發(fā)為主的中間件設(shè)計與實(shí)現(xiàn)。這部分主要由linux下的C開發(fā)為主，主要講述我們自我實(shí)現(xiàn)的分布式id生成器Chaos，分布式文件系統(tǒng)DFS、分布式緩存系統(tǒng)lest與分布式協(xié)調(diào)器lax，通訊協(xié)議hms與使用JNI實(shí)現(xiàn)的http服務(wù)Aru。分布式id生成器Chaos主要為我們的業(yè)務(wù)生成全站的、可視化、區(qū)間內(nèi)單調(diào)遞增的id，用于取代老舊的MySQL自增id或者是uuid作為主鍵的方案。

    Chaos生成的id和albianj的數(shù)據(jù)路由進(jìn)行緊密的配合，可以使開發(fā)者在無感知、無侵入的情況下快速而有效的開發(fā)出可以抵擋億級PV的分布式業(yè)務(wù)系統(tǒng)。DFS就不用多說了，這是一個互聯(lián)網(wǎng)公司走向中間件自主的必經(jīng)之路，也是標(biāo)志之一。因為我們業(yè)務(wù)的特殊性，要求對于DFS存儲的內(nèi)容可進(jìn)行頻繁的更改，所以市面上其實(shí)并無相應(yīng)的成熟DFS可用，故我們別無選擇。我們在DFS上花了很大的時間進(jìn)行設(shè)計和優(yōu)化，使其滿足我們每天億級新增/更改的需求。有了DFS的內(nèi)容存儲，我們又對其增加了一個出口：這就是我們的Arch系統(tǒng)。說起Arch系統(tǒng)，這僅僅是出于我們自己的看不慣和“2”的精神。因為覺得netty太過復(fù)雜，所以就動了自己寫一個精簡NIO的惻隱之心，所以就在“好玩”的驅(qū)使下，我們使用JNI自己封裝了一個C版本的NIO，然后因為想試試它的完備性、健壯性和性能，思來想去http簡單，那就搞一個小心的http服務(wù)器吧。所以arch由此誕生。目前arch運(yùn)行在我們的圖片、音頻等項目中，為漫畫、精排、封面提供每天億級訪問的服務(wù)。對于圖片、音頻等當(dāng)然是主要輸出就可以了。但是對于內(nèi)容就沒有那么簡單了，所以我們在DFS上又增加了一套基于大數(shù)據(jù)和AI的關(guān)鍵字鑒別與分析系統(tǒng)，這樣將DFS完整的平臺化。分布式緩存系統(tǒng)lest和分布式協(xié)調(diào)器lax則不同，他們的出現(xiàn)來自于我們對于緩存管理的無奈和懊惱，還有對于zookeeper的失望。以前我們的緩存使用了26臺的redis來進(jìn)行管理，機(jī)器數(shù)量增加的同時也增加了成本，并且redis客戶端的分布式模式時間長了真的很難管理。所以我們開發(fā)了lest，一個不需要大內(nèi)存而基于ssd的緩存系統(tǒng)。為了給lest增加嚴(yán)格的版本控制，實(shí)驗了zookeeper，不管是部署還是性能，都不滿足我們的需求和胃口，再者zk的功能太多了，我們又及其討厭開源軟件的“復(fù)雜稅”，所以在迫于無奈的情況下，我們只能自己開發(fā)了分布式協(xié)調(diào)器lax。從而將lest和lax組合成一個完整的系統(tǒng)。