|
5月27日下午，支付寶全國(guó)范圍癱瘓達(dá)2.5小時(shí)，這件事引發(fā)了人們對(duì)相關(guān)備災(zāi)系統(tǒng)的大討論。業(yè)內(nèi)人士普遍認(rèn)為，系統(tǒng)故障對(duì)數(shù)據(jù)機(jī)構(gòu)而言實(shí)屬正常，但這次支付寶故障時(shí)間偏長(zhǎng)，一定程度反映出第三方支付機(jī)構(gòu)在備災(zāi)工作的不善。
支付寶
支付寶是全球最大的第三方支付機(jī)構(gòu)，2013年實(shí)名用戶即超過(guò)3億人。阿里巴巴招股書透露，2014財(cái)年(截至3月31日)，支付寶的總支付金額達(dá)到38720億元，日均支付量已超過(guò)百億，占到中國(guó)的第三方支付市場(chǎng)份額70%以上。
癱瘓2.5小時(shí)
從5月27日下午5點(diǎn)左右，支付寶出現(xiàn)全國(guó)范圍的系統(tǒng)癱瘓。淘寶購(gòu)物、第三方網(wǎng)站付款、支付寶錢包各項(xiàng)功能全部無(wú)法使用。用戶還紛紛表示客服電話打不通。記者在北京打開支付寶錢包app，彈出提示“網(wǎng)絡(luò)繁忙，請(qǐng)稍后再試”。
支付寶錢包官微下午6點(diǎn)表示，“由于杭州市蕭山區(qū)某地光纖被挖斷，造成目前少部分用戶無(wú)法使用支付寶，運(yùn)營(yíng)商蜀黍正在搶修，支付寶攻城獅正在緊急將用戶請(qǐng)求引流至其他機(jī)房，受影響的用戶正在逐步恢復(fù)�！�
記者詢問(wèn)了廣東、西安、上海、四川等全國(guó)多地的多名支付寶用戶，全部表示無(wú)法使用。從記者掌握的情況而言，支付寶故障比其官方描述的“少部分用戶無(wú)法使用”更嚴(yán)重。
晚上7:30，支付寶錢包再次發(fā)布官微表示，之前由于杭州蕭山某地光纖被挖斷導(dǎo)致部分支付寶用戶無(wú)法正常使用，目前已經(jīng)恢復(fù)正常服務(wù)，歡迎繼續(xù)使用，如果出現(xiàn)交易信息不同步的情況，會(huì)逐步恢復(fù)。
從5點(diǎn)到7:30，整個(gè)癱瘓過(guò)程長(zhǎng)達(dá)2.5小時(shí)，所幸用戶資金全都安全。事后有業(yè)內(nèi)人士表示，這種技術(shù)障礙是不會(huì)危及用戶資金安全的，相當(dāng)于大樓突然斷水?dāng)嚯姡坏扔谒姳慌灿�、消失了�?/P>
接近監(jiān)管部門的有關(guān)人士表示，國(guó)家有關(guān)部門對(duì)商業(yè)銀行規(guī)定：中斷服務(wù)時(shí)間超過(guò)30分鐘，必須報(bào)告。中斷時(shí)間不超過(guò)120分鐘，為一般安全事件。中斷時(shí)間不超過(guò)240分鐘，為重大安全事件。中斷時(shí)間超過(guò)240分鐘，為特大安全事件�！耙陨弦�(guī)定不論原因，支付寶今天中斷超過(guò)120分鐘，為重大安全事件�！庇嘘P(guān)人士表示，雖然未明確第三方支付機(jī)構(gòu)的相關(guān)規(guī)定，但對(duì)大型支付機(jī)構(gòu)，如支付寶、財(cái)富通和銀聯(lián)商務(wù)，應(yīng)視同商業(yè)銀行管理。
據(jù)財(cái)新記者了解，在支付寶癱瘓期間，監(jiān)管機(jī)構(gòu)也相當(dāng)緊張，密切關(guān)注事項(xiàng)發(fā)展。
敲響備災(zāi)警鐘
事發(fā)之后，業(yè)內(nèi)人士也有表示理解的。有觀點(diǎn)認(rèn)為，美聯(lián)儲(chǔ)支付系統(tǒng)、股票交易所交易系統(tǒng)、國(guó)有商業(yè)銀行的支付系統(tǒng)也都曾有宕機(jī)現(xiàn)象。只要數(shù)據(jù)不亂、盡快恢復(fù)，應(yīng)沒大問(wèn)題。
國(guó)際支付機(jī)構(gòu)人士表示，只要是大型數(shù)據(jù)機(jī)構(gòu)，或多或少都中過(guò)招、宕過(guò)機(jī)。支付寶的科技系統(tǒng)是很先進(jìn)的，不能因?yàn)檫@件事就說(shuō)支付寶系統(tǒng)不穩(wěn)定。
但業(yè)內(nèi)人士也表示，這件事對(duì)整個(gè)行業(yè)而言，是備災(zāi)工作的警鐘。“運(yùn)營(yíng)維護(hù)無(wú)小事�！币患疑虡I(yè)銀行銀行網(wǎng)絡(luò)銀行部門人士向財(cái)新記者表示，“支付寶這次糗了”。
接近監(jiān)管機(jī)關(guān)的人士表示，電纜屬于物理基礎(chǔ)，即使是阿里云也要靠物理基礎(chǔ)，基礎(chǔ)出故障，只能說(shuō)對(duì)安全重視程度不夠。安全管理的應(yīng)有之義就是應(yīng)急處置，各機(jī)構(gòu)應(yīng)深知安全生產(chǎn)事件(包括自然災(zāi)害、“別人”挖斷光纖等不外部因素)的突發(fā)性、嚴(yán)重性，在提及技術(shù)體系的先進(jìn)性時(shí)應(yīng)小心謹(jǐn)慎，謹(jǐn)防出現(xiàn)黑天鵝事件。這次支付寶電纜事故后引流時(shí)間這么長(zhǎng)，說(shuō)明安全管理值得加倍重視。
那么，支付機(jī)構(gòu)的備災(zāi)系統(tǒng)通常有哪些?國(guó)際支付機(jī)構(gòu)人士表示主要有三個(gè)方式，即異地容災(zāi)、活備份、多運(yùn)營(yíng)商網(wǎng)絡(luò)通道。
其中，“異地容災(zāi)”是指服務(wù)器集群分散放置在多個(gè)中心機(jī)房、多個(gè)城市、甚至多個(gè)大洲。
“活備份”也稱“熱備份”，就是實(shí)時(shí)備份、實(shí)時(shí)切換啟用備份的服務(wù)器集群。熱備份主要是相對(duì)于溫備份和冷備份，溫備份通常不是實(shí)時(shí)切換至備份服務(wù)器。冷備份通常需要人工干預(yù)。備份可用于多個(gè)不同的層面，從底層的運(yùn)營(yíng)商網(wǎng)絡(luò)通信、安全防護(hù)、數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)通信、安全防護(hù)、服務(wù)器集群、存儲(chǔ)到應(yīng)用層等等各個(gè)方面均會(huì)有不同程度的備份。
“備份越分布式、越充分、越實(shí)時(shí)則容災(zāi)能力越強(qiáng)，但其采購(gòu)及運(yùn)營(yíng)管理成本也是以數(shù)量級(jí)上升的。不容易，同業(yè)估計(jì)都真心不會(huì)看笑話、說(shuō)風(fēng)涼話�！眹�(guó)際支付機(jī)構(gòu)人士表示。
“多運(yùn)營(yíng)商網(wǎng)絡(luò)通道”是指通過(guò)多家運(yùn)營(yíng)商數(shù)據(jù)網(wǎng)絡(luò)連接。某大行電子銀行部人士對(duì)財(cái)新記者表示，數(shù)據(jù)傳輸通常分為兩塊，一塊是機(jī)房連接到公用網(wǎng)絡(luò)再連接到客戶的，一塊是內(nèi)部通訊的。目前外界無(wú)法判斷支付寶的電纜斷掉是哪一段。通常而言，這兩種數(shù)據(jù)傳輸都有線路備份，即通過(guò)多家數(shù)據(jù)運(yùn)營(yíng)商連接，無(wú)論其中一段中斷，可以立刻切換到其他運(yùn)營(yíng)商的線路上，所以通常不會(huì)因?yàn)橐粭l線路斷掉而影響對(duì)外服務(wù)。
除此以外，銀行為防止系統(tǒng)癱瘓，還會(huì)采取“多數(shù)據(jù)中心”的備災(zāi)模式。以工行為例，工行有兩處數(shù)據(jù)中心，上海是主中心，北京是備份中心，一兩分鐘就可以從上海切換到北京，所以不會(huì)長(zhǎng)時(shí)間對(duì)外暫停服務(wù);中國(guó)銀聯(lián)在京滬兩地有三個(gè)數(shù)據(jù)中心，隨時(shí)自動(dòng)切換。銀聯(lián)對(duì)切換速度要求是2分鐘;國(guó)際卡組織Visa在全球有四個(gè)數(shù)據(jù)中心，切換速度可以快達(dá)零秒。
事故原因疑云
盡管對(duì)系統(tǒng)故障表示理解，但業(yè)內(nèi)人士普遍認(rèn)為2.5小時(shí)的故障“不應(yīng)該這么久”。
按照支付寶5月27日傍晚發(fā)布的解釋，5月27日傍晚因市政施工導(dǎo)致杭州市某地光纜被挖斷，導(dǎo)致了支付寶一個(gè)主要機(jī)房被影響，隨后全國(guó)部分用戶無(wú)法使用支付寶。事情發(fā)生后第一時(shí)間，支付寶工程師緊急將用戶請(qǐng)求切換至國(guó)內(nèi)其他機(jī)房。但按照常理，一個(gè)機(jī)房故障，應(yīng)當(dāng)立即切到其他機(jī)房。原本應(yīng)當(dāng)是瞬間完成的工作，卻花費(fèi)2.5小時(shí)，這讓業(yè)內(nèi)紛紛揣測(cè)：支付寶究竟有沒有多機(jī)房備份?如果有，為什么切換花費(fèi)這么久?支付寶此次故障是否另有原因?
在此之前，支付寶一直得益于自己的“異地多活”系統(tǒng)。所謂“異地多活”，是指在不同的地方設(shè)置多個(gè)數(shù)據(jù)中心，活備份數(shù)據(jù)�！爱惖囟嗷睿瑢�(shí)際可行性沒那么強(qiáng)。涉及到數(shù)據(jù)存儲(chǔ)，基本上出了這種事情沒人敢切到異地，因?yàn)閾?dān)心異地?cái)?shù)據(jù)不一致，只有等網(wǎng)絡(luò)恢復(fù)�！睒I(yè)內(nèi)人士分析道。
“以支付寶的能力，不應(yīng)該線路中斷影響這么久。從目前了解到的信息猜測(cè)，支付寶容災(zāi)備份方案肯定未做到最充分，但網(wǎng)絡(luò)通信側(cè)運(yùn)營(yíng)商肯定也難辭其咎。經(jīng)此一役，估計(jì)支付寶會(huì)進(jìn)一步加強(qiáng)異地容災(zāi)及多運(yùn)營(yíng)商網(wǎng)絡(luò)通道備份。”另一位業(yè)內(nèi)人士表示。
關(guān)于這次事故的原因，有商業(yè)銀行專業(yè)人士認(rèn)為電纜挖斷是假，機(jī)房故障是真�！�5年前，支付寶就實(shí)現(xiàn)了同城但機(jī)房故障不影響業(yè)務(wù)，所以這次光纖故障可能只是借口，運(yùn)營(yíng)網(wǎng)絡(luò)背了黑鍋�！币灿袠I(yè)內(nèi)人士認(rèn)為，因?yàn)橹Ц秾殨?huì)有不同運(yùn)營(yíng)商隨時(shí)切換，不可能挖斷一條電纜就系統(tǒng)癱瘓。很有可能是因?yàn)橄到y(tǒng)被攻擊或宕機(jī)。“歸根結(jié)底是支付寶過(guò)于自信，沒有建立快速恢復(fù)的應(yīng)急處置機(jī)制，應(yīng)該采取技術(shù)人員現(xiàn)場(chǎng)排查、現(xiàn)場(chǎng)研究、現(xiàn)場(chǎng)決策的方式�！�
5月27日晚23點(diǎn)，支付寶對(duì)切換速度緩慢給出了官方解釋。支付寶表示，“我們作為一個(gè)金融系統(tǒng)，對(duì)切換中數(shù)據(jù)與資金安全性的要求極高，因此切換速度上沒有做到更快。后面我們會(huì)不斷提升切換速度。但是，這并不代表我們對(duì)這次恢復(fù)時(shí)間是滿意的�！闭雇磥�(lái)，支付寶表示，光纜被挖斷可能并不能完全杜絕，但對(duì)于支付寶而言，會(huì)繼續(xù)推進(jìn)技術(shù)的升級(jí)改造，繼續(xù)完善異地多活的系統(tǒng)架構(gòu)�！拔磥�(lái)，即使再次出現(xiàn)光纜被挖斷等意外情況，我們進(jìn)行異地切換時(shí)，也盡量做到讓用戶最小感知甚至無(wú)感知�！敝Ц秾毐硎��！�
|