云音樂“崩了”：或與網(wǎng)易Curve系統(tǒng)有關(guān) 該團(tuán)隊曾裁員
網(wǎng)易云音樂崩了。
2024年8月19日，詞條#網(wǎng)易云音樂崩了#登上微博熱搜第一。不少網(wǎng)友表示，網(wǎng)易云音樂“一直刷新不出來”“一條評論也刷不出來”“搜歌也搜不出來”。
不久后，網(wǎng)易云音樂在官方微博回復(fù)，“因基礎(chǔ)設(shè)施故障，導(dǎo)致網(wǎng)易云音樂各端無法正常使用，我們正在加緊修復(fù)，非常抱歉?！?/p>
另據(jù)21世紀(jì)經(jīng)濟(jì)報道記者從多位有過網(wǎng)易工作經(jīng)歷的技術(shù)人員處了解到，此番網(wǎng)易云音樂出現(xiàn)技術(shù)故障，或與Curve存儲系統(tǒng)有關(guān)。該系統(tǒng)由網(wǎng)易開發(fā)，團(tuán)隊曾經(jīng)歷過裁員。
對此，網(wǎng)易云音樂方面向21世紀(jì)經(jīng)濟(jì)報道記者回應(yīng)稱，“沒有刪庫，沒有跑路，正在加速修復(fù)”。但對于涉及Curve團(tuán)隊問題，相關(guān)工作人員表示并不清楚。
隨后，網(wǎng)易云音樂官方微博表示，故障已陸續(xù)修復(fù)。同時，作為補(bǔ)償，8月20日0~24時，云音樂搜“暢聽音樂”，可領(lǐng)取7天會員權(quán)益到用戶的賬戶。
什么是Curve？
事實上，網(wǎng)易云音樂使用Curve有著歷史沿襲。
據(jù)網(wǎng)易云音樂技術(shù)團(tuán)隊在2022年6月對外披露，云音樂使用云盤的業(yè)務(wù)主要包括主站、UGC、曲庫等Java應(yīng)用，其中主站是云音樂核心業(yè)務(wù)，需要提供最高等級的SLA保障（年可用率≥99.99%），面對提供上億級用戶量穩(wěn)定的云音樂體驗，這一直以來也是該平臺的重難點。
2019年之前云音樂主要使用Ceph云盤，但Ceph在大規(guī)模場景下存在性能缺陷，且很難保證在各種異常(壞盤慢盤、存儲機(jī)宕機(jī)、存儲網(wǎng)絡(luò)擁塞等)場景下云盤IO響應(yīng)時延不受影響；Ceph云盤的IO抖動問題，該團(tuán)隊曾嘗試花很多人力精力做優(yōu)化改造，但都只是稍微有所緩解，無法徹底解決；性能問題也投入大量人力進(jìn)行分析優(yōu)化，但仍然不能達(dá)到預(yù)期。因此網(wǎng)易云音樂才立項了解Curve塊存儲分布式存儲系統(tǒng)。
網(wǎng)易云音樂提到，Curve塊存儲可以良好適配主流云計算平臺，并且具備高性能、易運維、穩(wěn)定不抖動等優(yōu)勢。在實際應(yīng)用中，使用Curve塊存儲對接Cinder作為云主機(jī)云盤存儲后端，對接Nova作為云主機(jī)系統(tǒng)盤，對接Glance作為鏡像存儲后端。在創(chuàng)建云主機(jī)過程中，Nova會通過Curve塊存儲提供的Python SDK克隆出新卷作為云主機(jī)系統(tǒng)盤使用。在創(chuàng)建云盤過程中，Cinder會通過Python SDK創(chuàng)建空卷或者通過已有的卷快照克隆出新卷，之后可以掛載到云主機(jī)上作為云盤使用。云主機(jī)使用Libvirt作為虛擬化管控服務(wù)，使用QEMU/KVM作為虛擬化引擎。Curve塊存儲為Libvirt/QEMU提供了驅(qū)動庫，編譯后就可以直接使用Curve卷作為遠(yuǎn)端存儲，不需要把Curve塊存儲卷掛載到本地。
2020年，網(wǎng)易數(shù)帆宣布，開源一款名為Curve的高性能分布式存儲系統(tǒng)。
當(dāng)年的網(wǎng)易數(shù)字+大會上，網(wǎng)易副總裁、網(wǎng)易杭州研究院執(zhí)行院長兼網(wǎng)易數(shù)帆總經(jīng)理汪源透露，Curve主要具有三大設(shè)計特點：高性能、高可用和自治。汪源公布了Curve和CephL版本的測試數(shù)據(jù)對比，在單卷的場景下，核心的4K隨機(jī)讀/寫的IOPS性能，Curve分別是Ceph的1.84倍和1.58倍，同時延遲相比Ceph分別降低48.39%和37.50%。
當(dāng)時，網(wǎng)易披露，Curve系統(tǒng)上線400多天，從未出現(xiàn)數(shù)據(jù)不一致和丟數(shù)據(jù)的情況，沒有發(fā)生過重大故障，數(shù)據(jù)可靠性達(dá)到100%，服務(wù)可用率達(dá)到4個9以上。
可變動來得比想象中快，近年網(wǎng)易杭州研究院裁員傳聞不斷，汪源本人已從網(wǎng)易離職。
機(jī)房遷移？
還需注意的是，此刻網(wǎng)易云音樂本就處在機(jī)房遷移的適應(yīng)關(guān)鍵節(jié)點，這可能也是此番故障誘因。
據(jù)網(wǎng)易云音樂技術(shù)團(tuán)隊在2024年7月對外披露，2023年確定要將云音樂整體服務(wù)搬遷至貴州機(jī)房，項目需要在各種限制條件下，保障2000+應(yīng)用、100w+QPS的服務(wù)穩(wěn)定遷移，是云音樂歷史上規(guī)模最大、人員最多、難度最高的技術(shù)項目。在此過程中，解決了大量歷史技術(shù)債務(wù)，同時化解了大量新增系統(tǒng)性風(fēng)險。
具體來看，此次需要云音樂以及旗下獨立App的服務(wù)均整體遷移至貴州。涉及2000+應(yīng)用、100w+QPS的穩(wěn)定遷移，同時涉及中間件、存儲、機(jī)房、三方依賴服務(wù)等整體的搬遷，搬遷規(guī)模大。
業(yè)務(wù)復(fù)雜度亦高。其中，場景復(fù)雜。遷移規(guī)模大，帶來更廣的業(yè)務(wù)場景覆蓋。而不同的場景對數(shù)據(jù)一致性要求不同、延遲敏感度不同。遷移方案需要考慮各種場景帶來的問題，并提供標(biāo)準(zhǔn)化的解決方案。
另外，服務(wù)間依賴復(fù)雜。此次帶來約2000+應(yīng)用的搬遷，各服務(wù)間的調(diào)用和依賴情況復(fù)雜，在分批遷移方案中需要協(xié)調(diào)，以及解決遷移期間跨機(jī)房30msRT上升帶來的問題。
此外，相關(guān)歷史積弊也多。網(wǎng)易云音樂提到，遷移貴州前，存在諸多歷史技術(shù)積弊，影響著全站整體的穩(wěn)定性。
此次搬遷還有新增風(fēng)險。網(wǎng)易云音樂提出，遷移貴州帶來諸多新增風(fēng)險，且解決難度高。部分場景無法做到真實環(huán)境全流程預(yù)演。在基礎(chǔ)技術(shù)建設(shè)上，也有一些不足的情況，影響整體搬遷執(zhí)行效率、遷移準(zhǔn)確性。
限制條件也嚴(yán)苛。云音樂有著大量的用戶基數(shù)，此次搬遷要求：不停機(jī)遷移、不產(chǎn)生P2及以上事故。除此之外還有機(jī)器、網(wǎng)絡(luò)帶寬、網(wǎng)絡(luò)穩(wěn)定性、網(wǎng)絡(luò)RT、遷移方案等限制條件。
總體來看，前述搬遷推進(jìn)、協(xié)調(diào)難度大?！按舜伟徇w規(guī)模大，同樣，參與人員規(guī)模大，整體協(xié)調(diào)難度大。此外帶來較多的人因風(fēng)險?？赡芤驑O小的細(xì)節(jié)未執(zhí)行到位，就會造成全局事故?！本W(wǎng)易云音樂技術(shù)團(tuán)隊相關(guān)文章表態(tài)。
結(jié)構(gòu)調(diào)整
回到網(wǎng)易云音樂運營來看，該公司處于結(jié)構(gòu)調(diào)整期。
財報顯示，2023年，云音樂營收78.67億元，同比下滑13%；經(jīng)調(diào)整凈利潤為8.19億元，上年同期為虧損1.15億元。
具體到業(yè)務(wù)來看，2023年，網(wǎng)易云音樂在線音樂服務(wù)收入為43.51億元，同比增長18%。其中，會員訂閱收入為36.49億元，同比增長20%，平均付費會員數(shù)同比增長15%達(dá)到4412萬，月均ARPU值同比增長5%達(dá)到6.9元。非訂閱收入為7億元，同比增長6%。
但受政策影響，以直播為主要業(yè)務(wù)的社交娛樂業(yè)務(wù)收入在2023年同比下滑34%至35.16億元。付費用戶為160萬，同比提升20%，月均ARPU同比下滑45%達(dá)到179元。
好消息是，網(wǎng)易云音樂毛利率在提升。2023年，該公司內(nèi)容服務(wù)成本45.99億元，同比下滑31%，占收入比從2022年的75%下降至2023年的58%，主要因為音樂版權(quán)成本絕對值基本穩(wěn)定，調(diào)整了社交娛樂業(yè)務(wù)的分成比例，收入因流量分配調(diào)整等因素也有較大幅度的下滑，結(jié)合分成比例收窄，帶來內(nèi)容成本的大幅縮減。
2023年下半年，網(wǎng)易云音樂毛利率較上半年進(jìn)一步提升，達(dá)到28.7%。2023年整體運營費用的絕對值同比小幅收窄。
2024年一季度，網(wǎng)易云音樂公布營收39.6億元，同比增長3.6%。
客觀上，結(jié)構(gòu)調(diào)整也是種行業(yè)性趨勢。
財報顯示，今年二季度，騰訊音樂營收71.6億元，同比下滑2%；經(jīng)調(diào)整凈利潤19.85億元，同比增長25.7%。具體來看，在線音樂業(yè)務(wù)收入54.24億元，同比增長28%；社交娛樂業(yè)務(wù)收入17.36億元，同比下滑43%。
其中，社交娛樂MAU在二季度同比下滑31.6%至9300萬。付費用戶為790萬，同比增長5%。季度ARPU為220元，同比下滑45%。
總體而言，隨著競爭加劇，網(wǎng)易云音樂每一步都需要更謹(jǐn)慎。