中国比特币交易平台

C114通信網: 門戶(微博 微信) 論壇(微博) 人才(微博) 百科 | C114客戶端 | English | IDC聯盟 與風網

技術 - 行業技術 - 無線通信 - 正文 運營商投稿當日通信資訊

重點業務感知監測分析機器人在網優智能化中的應用研究

http://www.ocrv.icu ( 2019/6/26 16:34 )

摘要

廣西聯通基于前期積累的網絡優化經驗,積極探索機器學習、軟件編排等技術,開發了“重點業務感知監測分析機器人”,從數據自動獲取與數據處理、感知問題預測、智能定界分析、報告智能撰寫輸出、郵件推送這五大過程來智能洞察并優化重點業務感知,其應用效果顯著,實現了網絡優化從傳統的“人工分析”到“智能分析”模式的變革,為未來的網優智能化進行積極探索。

關鍵詞

智能網優、機器人、指標預測、告警郵件推送


引言

當前移動互聯網數據業務流量呈現爆炸式增長態勢,各類業務層出不窮,業務感知性能以成為運營商網絡優化的重中之重,傳統網絡優化工作模式在優化的實時性、準確性、效率、成本等方面的弊端進一步凸顯,為了對業務感知性能 “提前或第一時間發現問題,精準快速智能分析定界并解決問題”這一目的,廣西聯通基于前期積累的網絡優化經驗,開發了“重點業務感知監測分析機器人”,實現了網絡優化從傳統的“人工分析”到“智能分析”模式變革,為未來的網優智能化進行積極探索。

傳統網絡優化面臨的挑戰與思維轉型

當前網絡結構復雜、業務多樣化、影響網絡質量因素多,感知問題分析定位效率低、準確性差等問題日益凸顯,而傳統的網絡優化以人工為主,無法適應日益復雜的網優工作需求,因此需要加快優化工作轉型。本次廣西聯通結合現有的重點業務感知分析優化的工作場景,基于機器學習、軟件編排、互聯網等技術,充分挖掘豐富的網絡數據資源,并設計與開發出“重點業務感知監測分析機器人”來智能洞察優化重點業務感知,為未來的網優智能化轉型積累優化經驗。

圖1: AI+移動網絡運維網優發展趨勢

重點業務感知監測分析機器人實現流程與技術原理

重點業務感知監測分析機器人的設計與實現,主要基于機器學習從歷史數據中學習和建模,以洞察出影響業務感知的規律特征,并通過軟件設計編排等實現自動化、智能化的“機器工作”來代替“人工工作”,以提升工作效率和準確性。

2.1基于機器學習的重點業務感知監測分析機器人的流程框架設計

結合廣西聯通上網業務人數、流量、業務請求次數等情況,最終選擇以微信、騰訊視頻、淘寶、王者榮耀、高德地圖等6類15種重點業務進行監測分析,如表1所示。

表1:重點業務監測指標

重點業務感知監測分析機器人主要基于R語言軟件與數據庫進行數據交互和邏輯運算,實現對業務的KQI實時監控和提前預測,并快速對監控到的告警問題智能分析定界和自動輸出報告,并下發告警郵件推送通知。本次以微信業務為例進行說明。其框架如圖2所示。

圖2:重點業務感知監測分析機器人的流程框架設計圖

(1)數據庫連接及數據源驗證

數據源主要來自S1-U信令數據,包含了URI、RTT、IP_LEN等業務特征、業務感知有關的字段。通過搭建R語言與數據庫的數據交互環境,并結合歷史數據源對當前入庫的數據源質量進行監控驗證,減少因數據源異常影響系統整體的準確性。基于模型算法得出歷史同時段的數據量波動規律,對比當天各接口數據量差異性,若超過設定的閾值則判斷該時段數據源出現異常則自動觸發“數據源異常”的告警郵件推送通知。

(2)指標配置及實時監控

在數據源無異常的前提下,通過R語言的邏輯算法對關鍵指標進行配置和實時監控。指標的配置即把關鍵指標統計邏輯轉換成R語言能識別并統計的機器語言;實時監控即利用R語言設置的邏輯算法對每個關鍵指標持續統計和監控,及時發現指標告警信息,并把該時段的指標寫入本地歷史指標變化表中。

(3)指標跟蹤及指標預測

該模塊主要針對本時段的指標設置告警規則,基于時間序列模型對未來一個時段的指標變化趨勢進行預測。告警規則的設置主要是將本時段統計到的指標設置不同的閾值并對應不同的告警級別,達到告警條件則利用R語言發送內容為“本時段告警+未來時段變化趨勢”的郵件。而當告警級別高時則自動跳轉到智能分析定界和自動生成報告模塊,并發送“本時段告警+未來時段變化趨勢+自動定界報告”的告警郵件。

(4)智能分析定界及生成報告

若指標的告警級別高,則進入智能多維分析定界并生成報告的模塊。本模塊主要是基于R語言中能自動化生成報告的Rmarkdown腳本實現。原理是利用R語言與數據庫交互的數據,針對告警指標在多維度建立各自的邏輯算法聚類分析,最終定界出指標告警的原因并自動生成Rmarkdown報告。

(5)告警及報告郵件推送

借助R語言的mailR包相關函數,把“數據源是否異常”、“指標預測趨勢”、“指標告警及級別”、自動化定界報告等的信息以郵件的形式自動化發送給相關人員。

2.2基于時間序列的業務性能預測模型選擇

時間序列預測是一種基于歷史數據的延伸預測,也稱歷史引伸預測法,通過編制連續的時間序列并分析其反映出來的發展過程、周期和趨勢,進行類推或延伸,借以預測下一段時間可能達到的水平。結合歷史數據與工作經驗發現業務流量和性能指標均會隨時間變化的連續變量,并且呈現規律性的周期變化,符合時間序列算法的應用場景。因此本次主要采用“時間序列預測的指數平滑法”進行建模研究與應用。

(1)指數平滑法原理與應用

指數平滑法即根據歷史資料的上期實際數和預測值,用指數加權的辦法進行預測。優點是只要有上期實際數和上期預測值,就可計算下期的預測值。其中三次指數平滑法適用于有趨勢和季節性的序列,故本次使用此算法,以微信業務上行RRT時延指標(TCP三步握手的第一步上行連接服務器時延)為例進行建模。

指數平滑法分為預測方程和三個平滑方程,一個是水平,一個是趨勢,一個是季節性成分,采用平滑參數α,和γ,用m代表季節性周期:

其中,確定了季節性指標的估計源于最后一個季節的樣本。(u代表不超過u的最大整數)。水平方程指出了季節調整量(yt-st-m)和非季節性預測(lt-1+bt-1)之間的加權平均。趨勢方程與Holt的線性方程一致。季節性方程表明了當前的季節性指標(yt-lt-1-bt-1)和上一周期的季節性指標的加權平均。即所有先前的預測值都對當前預測值產生了影響。(lt-1+bt-1

(2)建模與效果檢驗過程

第一步對原始歷史數據進行建立時間序列并對數化,其目的為了消除數據源的異方差,減少數據的波動對預測效果的影響。

第二步對數化后的時間序列進行應用HoltWinters算法(R語言包)進行預測建模。本次建模預測的alpha為0.60,即表明近期的觀測值的影響權重比較大,大多數預測值與真實值相差不大,具有比較高的可信度。

第三步對未來值進行預測及效果檢驗,首先預測未來N小時的上行RTT時延;其次對預測效果進行檢驗,檢驗延遲1-20階中的預測誤差是否非零自相關,相關圖呈現樣本內預測誤差在滯后9階時超過置信邊界略明顯,其他基本在置信空間以內;再次繼續采用Ljung-Box檢驗得出p =0.004919,意味著置信度只有99.51%這樣的值不足以拒絕“預測誤差在1-20階是非零自相關,則可接受預測誤差在1-20階是非零自相關的,如圖3所示(藍色為預測部分)。因此按照以上基于HoltWinters算法的時間序列預測模型,可以有效的預測微信業務性能變化趨勢。其中本次建模訓練出來上行RTT動態閾值在50ms以下視為正常波動。

圖3:未來值的預測及效果檢驗

2.3業務感知問題智能分析與自動化輸出報告流程技術原理

廣西聯通基于前期積累的網絡優化經驗,在智能定界及自動化輸出報告中應用了一套針對業務感知的自動化報告邏輯定界方法。

2.3.1業務感知五維分析定界法

在實時監控重點業務性能時,若某時段發生高告警級別(一級)時,將跳轉至“五維分析定界”模塊。主要思路為:(1)對單業務多天的性能進行時間維度分析,得出惡化時間和惡化程度;(2)在業務維度排查該時段是否多重點業務惡化,若僅單業務惡化告警,初步歸類為“云(SP)”原因,并對該告警業務篩選惡化的IP;(3)若出現多個重點業務同時惡化,則通過設備維度排查SGW/PGW核心網問題,集中則初步歸類為“管原因”;(4)排除非核心網因素后,則進入對地市區域維度排查,若地市集中,則初步歸類為“區域原因”,輸出該地市惡化eNodeB列表;(5)最終基于用戶維度統計該時段影響用戶的占比,若影響用戶占比<5%,則最終均定界為“端原因”。即基于業務感知五維分析定界法,通過端,管,云角度智能定界出造成業務感知惡化的原因。業務感知五維分析定界法主要流程如圖4所示。

圖4:業務感知五維分析定界流程圖

2.3.2基于Rmarkdown的自動化報告輸出

自動化報告輸出主要是利用R語言的RMarkdown包對數據庫的數據進行查詢,針對告警指標在多維度建立各自的邏輯算法聚類分析,最終定界出指標告警的原因并自動生成報告。其中RMarkdown包可將R計算(代碼塊)與普通文本相結合,用簡單靈活的方式來完成文檔的標記并轉換成PDF、word、html等格式文檔輸出,起到快速生成數據分析報告和減少重復性數據分析報告撰寫工作的作用。Markdown在RStudio的編程界面如圖5所示。

圖5:MarkdownRStudio的編程界面圖

2.4實時告警郵件推送

告警郵件推送技術主要是基于R語言的mailR包實現對郵件標題、正文以及添加附件等內容進行設置,并發送給指定的收件人郵箱列表。將該模塊代碼嵌入至機器監控系統時,即可實現自動“監控-告警-通知”的發現問題及時通知功能,實現程序如圖6所示。

圖6:R語言發送郵件代碼示例圖

應用效果案例

基于機器學習的重點業務監控及預測分析系統,廣西聯通在5月28日的實時監控業務感知發現:微信業務當天12時上行RTT平均時延457.59ms;且基于時間序列模型預測當天13時將會繼續惡化,預測值為483.23ms,如圖7所示。

圖7:重點業務上行RTT時延跟蹤與預測

系統自動觸發“重點業務(微信)出現上行RTT時延一級告警”,進入到智能化分析定界模塊并自動生成報告,并于2018-05-28 13:07:37將郵件推送給相關人員。其重點業務感知智能分析報告如圖8所示。

圖8:重點業務感知分析報告智能化輸出呈現方式

結合業務感知五維分析定界法得知:1)近三天的波動系數較小,未出現明顯波動,該業務在5月28日12時開始惡化;2)未發現同時段其他重點業務出現明顯時延高情況;3)微信業務請求次數TOP50涉及的IP中,IP為58.144.137.(11-20)的時延均大于600ms以上;4)該時段使用惡化重點業務時延大于安全閾值(80ms)用戶數占比為64.56%;綜上所分析定界為云問題。

結合實際人工撥測和信令問題分析,主要感知問題為用戶感知微信業務中的朋友圈圖片打不開或出現白屏現象,如圖9所示。

圖9:微信朋友圈圖片白屏圖

廣西聯通與騰訊團隊迅速成立聯合工作組,開展微信業務感知優化提升工作。在提供分析數據并聯合微信團隊優化服務器響應機制后,上行RTT時延從原來的457ms下降至36ms,微信朋友圈白屏現象恢復正常,有效的提升了微信業務用戶的上網感知。本次通過基于人工智能的重點業務預測分析及郵件推送的應用,第一時間發現業務感知的問題并智能化的分析定界,將優化工作的響應和處理時間縮短92%,工作效率得到顯著的提升,如圖10所示。

圖10:業務惡化工作處理效率對比

廣西聯通目前基于重點業務感知監測分析機器人的部署,為微信、王者榮耀游戲、淘寶、騰訊視頻、新浪微博等多個重點業務提供監控保障,累計處理了32起因業務性能突發惡化而影響用戶感知的事例,有效提升了對突發性問題的應變能力和響應能力,其應用效果顯著。

智能網優的探索與展望

未來在AI+網優智能化的應用場景有著廣大的開拓探索空間,結合不同的機器算法特點可用于智能場景的覆蓋評估、智能動態閾值隱形故障挖掘、場景的參數智能優化、智能業務或負荷預測、基站畫像管理等應用領域。從而借助AI以充分利用網絡大數據資源,發掘內在規律,持續改進服務質量、提升優化效率,廣西聯通以“聚類算法管理小區業務畫像”、“基于MR-MDT數據發掘小區天饋問題”的應用場景作為試點,對網優智能化應用場景進行持續探索研究,其成果初顯成效。

(1)基于聚類算法的流媒體業務的小區畫像管理與重點監控保障

結合集團所通報的2I流媒體業務播放小區列表,基于SPSS Modeler大數據分析建模軟件對流媒體播放次數進行“K-Means”聚類分析,最終按播放的多少來劃分“高”、“中”、“低”三個類別。如本次聚類有319個小區(播放次數>=185)的播放次數比較大,定義為“高”類別。對某地市為“高”類別的流媒體業務小區試點進行重點監控和保障,累計完成12個重點小區性能惡化問題(如故障告警,高負荷均衡等)的高優先響應處理。通過聚焦重點業務小區的感知保障處理,有效避免潛在的用戶投訴和維護網絡口碑。

圖11:基于聚類算法的流媒體業務的小區畫像管理

(2)基于MDT_MR大數據發掘基站小區天饋問題

基于爬蟲獲取場景圖層信息,結合地理、工參、MDT等數據,建模計算出用戶位置與正北方向的夾角∠θ,與小區工參天線方向角∠α對比,通過異常的偏差以挖掘用戶位置是否在天線合理范圍內。對某地市試點累計發掘了17處疑似天饋異常問題并現場驗證,其準確性為70%以上。

圖12:基于MDT_MR大數據發掘基站小區天饋問題原理

結束語

廣西聯通基于前期積累的網絡優化經驗,積極探索機器學習、軟件編排等技術,通過開發的“重點業務感知監測分析機器人”實現了15類重點業務感知的智能洞察與優化分析,為未來的網優智能化轉型進行了積極探索,具有一定的推廣價值。

參考文獻

[1] 薛毅,陳立萍.統計建模與 R 軟件[M].北京:清華大學出版社,2007.

[2] Ziebarth N L,Abbott K C,Ives A R.Weak population regulation in ecological time series[J]. Ecology Letters,2010,13( 1) : 21-31.

[3] Dianjun Fang;Yin Zhang;Klaus Spicher. Forecasting accuracy analysis based on two new heuristic methods and Holt-Winters-Method.2016:1-6.

作者:陳若煒   張鵬  程喬 王映華
 

   來源:郵電設計技術

  免責聲明:本文僅代表作者個人觀點,與C114中國通信網無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。

給作者點贊

輕松參與

0VS0

表達立場

寫的不太好

Copyright©1999-2019 c114 All Rights Reserved
上海熒通網絡信息技術有限公司版權所有
南方廣告業務部: 021-54451141,54451142 E-mail:[email protected]
北方廣告業務部: 010-63533177,63533977 E-mail:[email protected]
編輯部聯系: 021-54451141,54451142 E-mail:[email protected]
服務熱線: 021-54451141,54451142
滬ICP備12002291號
中国比特币交易平台 南京麻将 单机 下载 长沙麻将技巧 30选5开奖结果 快速时时 国家投资15万亿计划 快三012路 排列三专家号码预测 3d试机号开机号 明星江苏麻将炸金花 聚富网彩票网怎么样 今天体彩河北11选5开奖号 陕西福彩快乐十分开奖 大乐透宝典视频直播 北京pk赛车34567怎么跟 快速时时计算方法 11选5三角算法