淘寶技術(shù)這十年
2017-02-24
受訪者介紹：子柳，2004年加入淘寶網(wǎng)，歷任開發(fā)工程師、項目經(jīng)理、產(chǎn)品經(jīng)理、測試經(jīng)理。2014年5月，子柳離開阿里，成為一名天使投資人。
2012年11月11日，191億元“奇跡”誕生前，正當(dāng)許多買家正在享受購物狂歡時，突然一條這樣的提示信息出現(xiàn)在眼前：我們的系統(tǒng)檢測到您所在的網(wǎng)絡(luò)對淘寶網(wǎng)的訪問請求過于頻繁，很抱歉，現(xiàn)在暫時無法處理您的請求，請您過一段時間后再來訪問。“系統(tǒng)崩潰”以及“支付癱瘓”隨之被傳播。
殊不知道，這其實是故意的。因為我們要調(diào)控全局，所以進(jìn)行了一部分限制。例如說，一瞬間買家的訪問流量實在太大了，原本我們準(zhǔn)備了3個T，當(dāng)?shù)竭_(dá)2個T還在迅速增長的時候，我們判斷這有可能超出我們的承受能力范圍，因此，我們必須關(guān)掉一部分流量。如果不做限流，不讓一部分人先等等，可能會導(dǎo)致全盤系統(tǒng)的癱瘓。
這不是故障。淘寶技術(shù)經(jīng)過了2009年至2012年這幾年時間的發(fā)展和升級后，早已具備了經(jīng)受各種考驗的能力。
淘寶技術(shù)這十年
2008年以前、2008年至2012年、2012年以后，這是淘寶技術(shù)發(fā)展的三個重要時間節(jié)點。
2008年以前，淘寶的系統(tǒng)不論是技術(shù)難度還是架構(gòu)難度都不是特別大，因為那個時候的流量、數(shù)據(jù)量，使用常用的技術(shù)手段就能解決。例如業(yè)界常用的解決方案IOE（IBM的小型機(jī)、Oracle的數(shù)據(jù)庫、EMC的存儲）能夠幫我們支撐10億左右的訪問量和10億級別的數(shù)據(jù)量。從最初的一臺普通的服務(wù)器到2008年幾千臺服務(wù)器加IOE解決方案，支撐了我們最初5年的發(fā)展。
但是到了2008年前后，我們有些問題就沒有人能夠找到現(xiàn)成的解決方案了。例如我們的商品圖片，一開始放在了本地硬盤上，2004年本地放不下了，買了NetApp公司推出的專業(yè)的NAS設(shè)備，隨著圖片數(shù)量的不斷增長，我們找NetApp公司買的設(shè)備越來越高級，到2007年的時候，我們發(fā)現(xiàn)他們最好的服務(wù)器已經(jīng)賣給我們，沒有更好的了。但是用戶還是不停的要上傳圖片，怎么幫他們解決呢？
別人無法解決，并不代表這個事情無解，淘寶的技術(shù)就在這個時間點上面從使用別人的技術(shù)轉(zhuǎn)變成了自己創(chuàng)造技術(shù)，馬總說過“用錢能解決的問題都不是問題”，我們在2008年前后到了“用錢無法解決問題”的時代。幸運的是，我們解決這些問題并不是從頭做起的，我們并不是“開拓者”。國外的google、facebook他們都已經(jīng)嘗試過自己解決技術(shù)上的問題，而且他們解決了之后，會把原理開放出來分享給大家（這是我們非常尊重這些企業(yè)的原因）。
于是，淘寶的技術(shù)牛人在此基礎(chǔ)上就嘗試著去做分布式存儲、數(shù)據(jù)庫、中間件、負(fù)載均衡這樣一套電子商務(wù)操作系統(tǒng)。之后，經(jīng)過2009年至2012年期間一系列大型活動的洗禮，這套系統(tǒng)已經(jīng)非常成熟。解決了原本用錢也解決不了的問題后，淘寶技術(shù)開始走向開放。這時候不僅僅是要把淘寶自己建設(shè)好，很多技術(shù)的探索成果我們也開源出去讓大家使用，來幫助我們的商家甚至競爭對手。從技術(shù)角度來講，淘寶對整個業(yè)界技術(shù)水平的提升有很大的推動作用。淘寶在這幾年間，也從一個技術(shù)不被談及的公司走向了技術(shù)型公司，影響力大大提高。
到了2012年雙十一之后，淘寶技術(shù)體系又將走向何方，其實是很難想象的一件事情。除了軟件、應(yīng)用系統(tǒng)開發(fā)外，還有大數(shù)據(jù)相關(guān)的研究，用云計算技術(shù)來提升整個電商生態(tài)圈的信息化能力，系統(tǒng)底層的持續(xù)優(yōu)化等等。我們現(xiàn)在可以利用淘寶的數(shù)據(jù)告訴商家現(xiàn)在流行什么，哪個地方的人喜歡買什么樣的商品，用大數(shù)據(jù)給他們的生產(chǎn)和銷售做信息支持；我們提供了一個名叫“聚石塔”的電商云工作平臺，讓商家把各種工作軟件部署進(jìn)來，實時對接淘寶的數(shù)據(jù)接口，享受和淘寶一樣安全穩(wěn)定的運行環(huán)境。這樣可以把很多線下手工操作的事情直接在線處理掉，有遠(yuǎn)見的商家甚至已經(jīng)開始利用云計算來整合自己的供應(yīng)鏈系統(tǒng)了；我們還有人修改Linux內(nèi)核，定制服務(wù)器硬件，開發(fā)智能的部署方案，讓系統(tǒng)運行更加綠色高效。未來主要是圍繞大數(shù)據(jù)、云計算和智能化這幾個方向發(fā)展了。
數(shù)據(jù)不會說謊
技術(shù)是為數(shù)據(jù)服務(wù)的，數(shù)據(jù)可以開發(fā)出去，外面的數(shù)據(jù)也可以回流回來。按照馬總的說法，我們現(xiàn)在變成了一個數(shù)據(jù)公司。
“大數(shù)據(jù)”的說法非常響亮，以至于現(xiàn)在誰提起大數(shù)據(jù)都感覺有些俗氣了。但是，大數(shù)據(jù)是很好的東西。
大數(shù)據(jù)為什么好？恰恰是因為它“大”。有個說法，最近10年人類所創(chuàng)造的數(shù)據(jù)占到人類有史以來所創(chuàng)造信息的90%。以前記載在紙上、竹片上，承載能力非常有限，現(xiàn)在都記錄在互聯(lián)網(wǎng)上，所以數(shù)據(jù)非常龐大。
數(shù)據(jù)大了之后，有了搜索引擎，也有個更多可能的出現(xiàn)。有一個很經(jīng)典的案例，說是通過谷歌的搜索引擎可以預(yù)測什么地方有流感。怎么預(yù)測呢？一般發(fā)生流感的時候，會有很多人在谷歌搜索“流鼻涕怎么治”。此時，谷歌通過統(tǒng)計分析，便可以得出哪個地方搜索類似關(guān)鍵詞的人更多，判斷出此地發(fā)生流感的概率可能更高。這樣的反應(yīng)速度比傳統(tǒng)的疫情機(jī)制反應(yīng)速度要快很久。
還有一個好玩的例子，某景區(qū)從原先的免費開放改為收門票之后，雖然網(wǎng)上抗議聲一片，但他們官方還是宣稱他們的旅客數(shù)量在增長。我們知道的情況是什么樣的呢？利用淘寶旅行上的數(shù)據(jù)，我們很明顯看到該景區(qū)酒店的訂單量起碼下降了一半。有時候，人們擅長于對內(nèi)調(diào)查，對外“創(chuàng)造”結(jié)果，可是數(shù)據(jù)永遠(yuǎn)不會說謊。
現(xiàn)在淘寶會定期公布一個數(shù)據(jù)，叫TCPI，淘寶物價指數(shù)。之前，淘寶只有幾百萬用戶的時候，大家不敢做這個數(shù)據(jù)，即便你做了也沒人信。但是，基于現(xiàn)在的用戶數(shù)量，進(jìn)行這個數(shù)據(jù)統(tǒng)計分析后，它很受重視，甚至有些政府部門也很重視。他們也看到了，我們依賴數(shù)據(jù)做出來的統(tǒng)計更加高效，而他們自己則需要動用大量的人力、物力，通過長時間的調(diào)查可能才能得出這樣一個結(jié)論，淘寶技術(shù)人員寫了個數(shù)據(jù)模型，把淘寶交易積累下幾十個T的數(shù)據(jù)放到服務(wù)器上運算，一個晚上就能分析出來了。這，就是大數(shù)據(jù)的威力。
對商家來說，商家隨時可以利用大數(shù)據(jù)指導(dǎo)商業(yè)生產(chǎn)，例如幫助商家做生產(chǎn)預(yù)測。打個比方，對“今年流行長裙，短裙還是熱褲？”的問題，每個人的看法可能不一樣。而淘寶幾億用戶購買行為的實時數(shù)據(jù)是開放的，商家通過淘寶指數(shù)對比一下，結(jié)果就出來了。一對比發(fā)現(xiàn)，其實今年長裙最受關(guān)注。這時候，商家拿這些數(shù)據(jù)給生產(chǎn)女裝的廠家，就可以做出這樣的決策：生產(chǎn)熱褲的生產(chǎn)線不要多投精力，趕緊做長裙。這就是用數(shù)據(jù)說話。在十年前，誰也拿不到這些數(shù)據(jù)，服裝的流行趨勢很多時候只能依賴時尚雜志?，F(xiàn)在，不如看數(shù)據(jù)更直接，而能夠做到這一點，正是因為淘寶有比較大的用戶基礎(chǔ)，數(shù)據(jù)量大了之后，獲取的信息才是貼近真實的。因此，將這里面的信息整合起來，就可以看到最真實的情況。
2012年11月11日，191億元“奇跡”誕生前，正當(dāng)許多買家正在享受購物狂歡時，突然一條這樣的提示信息出現(xiàn)在眼前：我們的系統(tǒng)檢測到您所在的網(wǎng)絡(luò)對淘寶網(wǎng)的訪問請求過于頻繁，很抱歉，現(xiàn)在暫時無法處理您的請求，請您過一段時間后再來訪問。“系統(tǒng)崩潰”以及“支付癱瘓”隨之被傳播。
殊不知道，這其實是故意的。因為我們要調(diào)控全局，所以進(jìn)行了一部分限制。例如說，一瞬間買家的訪問流量實在太大了，原本我們準(zhǔn)備了3個T，當(dāng)?shù)竭_(dá)2個T還在迅速增長的時候，我們判斷這有可能超出我們的承受能力范圍，因此，我們必須關(guān)掉一部分流量。如果不做限流，不讓一部分人先等等，可能會導(dǎo)致全盤系統(tǒng)的癱瘓。
這不是故障。淘寶技術(shù)經(jīng)過了2009年至2012年這幾年時間的發(fā)展和升級后，早已具備了經(jīng)受各種考驗的能力。
淘寶技術(shù)這十年
2008年以前、2008年至2012年、2012年以后，這是淘寶技術(shù)發(fā)展的三個重要時間節(jié)點。
2008年以前，淘寶的系統(tǒng)不論是技術(shù)難度還是架構(gòu)難度都不是特別大，因為那個時候的流量、數(shù)據(jù)量，使用常用的技術(shù)手段就能解決。例如業(yè)界常用的解決方案IOE（IBM的小型機(jī)、Oracle的數(shù)據(jù)庫、EMC的存儲）能夠幫我們支撐10億左右的訪問量和10億級別的數(shù)據(jù)量。從最初的一臺普通的服務(wù)器到2008年幾千臺服務(wù)器加IOE解決方案，支撐了我們最初5年的發(fā)展。
但是到了2008年前后，我們有些問題就沒有人能夠找到現(xiàn)成的解決方案了。例如我們的商品圖片，一開始放在了本地硬盤上，2004年本地放不下了，買了NetApp公司推出的專業(yè)的NAS設(shè)備，隨著圖片數(shù)量的不斷增長，我們找NetApp公司買的設(shè)備越來越高級，到2007年的時候，我們發(fā)現(xiàn)他們最好的服務(wù)器已經(jīng)賣給我們，沒有更好的了。但是用戶還是不停的要上傳圖片，怎么幫他們解決呢？
別人無法解決，并不代表這個事情無解，淘寶的技術(shù)就在這個時間點上面從使用別人的技術(shù)轉(zhuǎn)變成了自己創(chuàng)造技術(shù)，馬總說過“用錢能解決的問題都不是問題”，我們在2008年前后到了“用錢無法解決問題”的時代。幸運的是，我們解決這些問題并不是從頭做起的，我們并不是“開拓者”。國外的google、facebook他們都已經(jīng)嘗試過自己解決技術(shù)上的問題，而且他們解決了之后，會把原理開放出來分享給大家（這是我們非常尊重這些企業(yè)的原因）。
于是，淘寶的技術(shù)牛人在此基礎(chǔ)上就嘗試著去做分布式存儲、數(shù)據(jù)庫、中間件、負(fù)載均衡這樣一套電子商務(wù)操作系統(tǒng)。之后，經(jīng)過2009年至2012年期間一系列大型活動的洗禮，這套系統(tǒng)已經(jīng)非常成熟。解決了原本用錢也解決不了的問題后，淘寶技術(shù)開始走向開放。這時候不僅僅是要把淘寶自己建設(shè)好，很多技術(shù)的探索成果我們也開源出去讓大家使用，來幫助我們的商家甚至競爭對手。從技術(shù)角度來講，淘寶對整個業(yè)界技術(shù)水平的提升有很大的推動作用。淘寶在這幾年間，也從一個技術(shù)不被談及的公司走向了技術(shù)型公司，影響力大大提高。
到了2012年雙十一之后，淘寶技術(shù)體系又將走向何方，其實是很難想象的一件事情。除了軟件、應(yīng)用系統(tǒng)開發(fā)外，還有大數(shù)據(jù)相關(guān)的研究，用云計算技術(shù)來提升整個電商生態(tài)圈的信息化能力，系統(tǒng)底層的持續(xù)優(yōu)化等等。我們現(xiàn)在可以利用淘寶的數(shù)據(jù)告訴商家現(xiàn)在流行什么，哪個地方的人喜歡買什么樣的商品，用大數(shù)據(jù)給他們的生產(chǎn)和銷售做信息支持；我們提供了一個名叫“聚石塔”的電商云工作平臺，讓商家把各種工作軟件部署進(jìn)來，實時對接淘寶的數(shù)據(jù)接口，享受和淘寶一樣安全穩(wěn)定的運行環(huán)境。這樣可以把很多線下手工操作的事情直接在線處理掉，有遠(yuǎn)見的商家甚至已經(jīng)開始利用云計算來整合自己的供應(yīng)鏈系統(tǒng)了；我們還有人修改Linux內(nèi)核，定制服務(wù)器硬件，開發(fā)智能的部署方案，讓系統(tǒng)運行更加綠色高效。未來主要是圍繞大數(shù)據(jù)、云計算和智能化這幾個方向發(fā)展了。
數(shù)據(jù)不會說謊
技術(shù)是為數(shù)據(jù)服務(wù)的，數(shù)據(jù)可以開發(fā)出去，外面的數(shù)據(jù)也可以回流回來。按照馬總的說法，我們現(xiàn)在變成了一個數(shù)據(jù)公司。
“大數(shù)據(jù)”的說法非常響亮，以至于現(xiàn)在誰提起大數(shù)據(jù)都感覺有些俗氣了。但是，大數(shù)據(jù)是很好的東西。
大數(shù)據(jù)為什么好？恰恰是因為它“大”。有個說法，最近10年人類所創(chuàng)造的數(shù)據(jù)占到人類有史以來所創(chuàng)造信息的90%。以前記載在紙上、竹片上，承載能力非常有限，現(xiàn)在都記錄在互聯(lián)網(wǎng)上，所以數(shù)據(jù)非常龐大。
數(shù)據(jù)大了之后，有了搜索引擎，也有個更多可能的出現(xiàn)。有一個很經(jīng)典的案例，說是通過谷歌的搜索引擎可以預(yù)測什么地方有流感。怎么預(yù)測呢？一般發(fā)生流感的時候，會有很多人在谷歌搜索“流鼻涕怎么治”。此時，谷歌通過統(tǒng)計分析，便可以得出哪個地方搜索類似關(guān)鍵詞的人更多，判斷出此地發(fā)生流感的概率可能更高。這樣的反應(yīng)速度比傳統(tǒng)的疫情機(jī)制反應(yīng)速度要快很久。
還有一個好玩的例子，某景區(qū)從原先的免費開放改為收門票之后，雖然網(wǎng)上抗議聲一片，但他們官方還是宣稱他們的旅客數(shù)量在增長。我們知道的情況是什么樣的呢？利用淘寶旅行上的數(shù)據(jù)，我們很明顯看到該景區(qū)酒店的訂單量起碼下降了一半。有時候，人們擅長于對內(nèi)調(diào)查，對外“創(chuàng)造”結(jié)果，可是數(shù)據(jù)永遠(yuǎn)不會說謊。
現(xiàn)在淘寶會定期公布一個數(shù)據(jù)，叫TCPI，淘寶物價指數(shù)。之前，淘寶只有幾百萬用戶的時候，大家不敢做這個數(shù)據(jù)，即便你做了也沒人信。但是，基于現(xiàn)在的用戶數(shù)量，進(jìn)行這個數(shù)據(jù)統(tǒng)計分析后，它很受重視，甚至有些政府部門也很重視。他們也看到了，我們依賴數(shù)據(jù)做出來的統(tǒng)計更加高效，而他們自己則需要動用大量的人力、物力，通過長時間的調(diào)查可能才能得出這樣一個結(jié)論，淘寶技術(shù)人員寫了個數(shù)據(jù)模型，把淘寶交易積累下幾十個T的數(shù)據(jù)放到服務(wù)器上運算，一個晚上就能分析出來了。這，就是大數(shù)據(jù)的威力。
對商家來說，商家隨時可以利用大數(shù)據(jù)指導(dǎo)商業(yè)生產(chǎn)，例如幫助商家做生產(chǎn)預(yù)測。打個比方，對“今年流行長裙，短裙還是熱褲？”的問題，每個人的看法可能不一樣。而淘寶幾億用戶購買行為的實時數(shù)據(jù)是開放的，商家通過淘寶指數(shù)對比一下，結(jié)果就出來了。一對比發(fā)現(xiàn)，其實今年長裙最受關(guān)注。這時候，商家拿這些數(shù)據(jù)給生產(chǎn)女裝的廠家，就可以做出這樣的決策：生產(chǎn)熱褲的生產(chǎn)線不要多投精力，趕緊做長裙。這就是用數(shù)據(jù)說話。在十年前，誰也拿不到這些數(shù)據(jù)，服裝的流行趨勢很多時候只能依賴時尚雜志?，F(xiàn)在，不如看數(shù)據(jù)更直接，而能夠做到這一點，正是因為淘寶有比較大的用戶基礎(chǔ)，數(shù)據(jù)量大了之后，獲取的信息才是貼近真實的。因此，將這里面的信息整合起來，就可以看到最真實的情況。
訪問手機(jī)端更方便
技術(shù)創(chuàng)造價值 服務(wù)締造品牌
Copyright ? 2011-2024 鄭州開拓者電子科技有限公司 All Rights Reserved
友情鏈接：
小程序開發(fā)