国产在线观看精品免费,亚洲日本VA久久一区二区,香蕉久久99综合一区二区三区,久久精品99国产精品蜜桃小说

IT 運維中的事件、故障排查處理思路

2021-11-03 15:49:32 shuai.chang

睿智創(chuàng )新RAIZ，一體化IT服務(wù)提供商

在講解事件、故障處理思路前，先講一個(gè)故障場(chǎng)景（以呼叫中心系統作為一例子）：
業(yè)務(wù)人員反映呼叫中心系統運行緩慢，部份電話(huà)在自助語(yǔ)言環(huán)節系統處理超時(shí)，話(huà)務(wù)轉人工座席，人工座席出現爆線(xiàn)情況。
運維人員開(kāi)始忙活了，查資源使用情況、查服務(wù)是否正常、查日志是否報錯、查交易量還有沒(méi)有……時(shí)間不知不覺(jué)的在敲鍵盤(pán)、敲鍵盤(pán)、敲鍵盤(pán)中過(guò)去，但是原因還未定位。
經(jīng)理過(guò)來(lái)了解情況：“系統恢復了嗎？”、“故障影響是什么？”、“交易中斷了嗎？”……
運維人員趕緊敲鍵盤(pán)，寫(xiě)sql，看交易量；敲鍵盤(pán)，寫(xiě)命令，看系統資源、情況……
最終，定位到問(wèn)題原因是其中一個(gè)功能沒(méi)有控制返回數量，導致內存泄露。
針對這個(gè)故障，業(yè)務(wù)希望運維能否更快的解決故障的恢復，經(jīng)理希望制定優(yōu)化呼叫中心故障處理流程，做了以下幾件事：
1、優(yōu)先故障處理過(guò)程的時(shí)間——”能通過(guò)鼠標完成的工作，不要用鍵盤(pán)“
2、提前發(fā)現故障，加強監控——“技術(shù)早于業(yè)務(wù)發(fā)現問(wèn)題，監控不僅是報警，還要協(xié)助故障定位”
3、完善故障應急方案——“應急方案是最新的、準確的、簡(jiǎn)單明了的”
4、長(cháng)遠目標：故障自愈——”能固化的操作自動(dòng)化，能機器做的讓機器做“
下面將從故障常見(jiàn)的處理方法開(kāi)始介紹，再從故障前的準備工作（完善監控、制定應急方案等方式）來(lái)解決經(jīng)理提出的問(wèn)題，并提出未來(lái)解決故障的想法。
1、常見(jiàn)的方法：
1）確定故障現象并初判問(wèn)題影響
在處理故障前，運維人員首先要知道故障現象，故障現象直接決定故障應急方案的制定，這依賴(lài)于運維人員需要對應用系統的整體功能有一定的熟悉程度。
確認了故障現象后，才能指導運維人員初判斷故障影響。
2）應急恢復
運維最基本的指標就是系統可用性，應急恢復的時(shí)效性是系統可用性的關(guān)鍵指標。
有了上述故障現象與影響的判斷后，就可以制定故障應急操作，故障應急有很多，比如：

  • 服務(wù)整體性能下降或異常，可以考慮重啟服務(wù)；
  • 應用做過(guò)變更，可以考慮是否需要回切變更；
  • 資源不足，可以考慮應急擴容；
  • 應用性能問(wèn)題，可以考慮調整應用參數、日志參數；
  • 數據庫繁忙，可以考慮通過(guò)數據庫快照分析，優(yōu)化SQL；
  • 應用功能設計有誤，可以考慮緊急關(guān)閉功能菜單；
  • 還有很多……

另外，需要補充的是，在故障應急前，在有條件的情況需要保存當前系統場(chǎng)景，比如在殺進(jìn)程前，可以先抓個(gè)CORE文件或數據庫快照文件。
3）快速定位故障原因

  • 是否為偶發(fā)性、是否可重現

故障現象是否可以重現，對于快速解決問(wèn)題很重要，能重現說(shuō)明總會(huì )有辦法或工具幫助我們定位到問(wèn)題原因，而且能重現的故障往往可能是服務(wù)異常、變更等工作導致的問(wèn)題。
但，如果故障是偶發(fā)性的，是有極小概率出現的，則比較難排查，這依賴(lài)于系統是否有足夠的故障期間的現場(chǎng)信息來(lái)決定是否可以定位到總是原因。

  • 是否進(jìn)行過(guò)相關(guān)變更

大部份故障是由于變更導致，確定故障現象后，如果有應的變更，有助于從變更角度出現分析是否是變更引起，進(jìn)而快速定位故障并準備好回切等應急方案。

  • 是否可縮小范圍

一方面應用系統提倡解耦，一支交易會(huì )流經(jīng)不同的應用系統及模塊；另一方面，故障可能由于應用、系統軟件、硬件、網(wǎng)絡(luò )等環(huán)節的問(wèn)題。在排查故障原因時(shí)應該避免全面性的排查，建議先把問(wèn)題范圍縮小到一定程序后再開(kāi)始協(xié)調關(guān)聯(lián)團隊排查。

  • 關(guān)聯(lián)方配合分析問(wèn)題

與第（3）點(diǎn)避免同時(shí)各關(guān)聯(lián)團隊同時(shí)無(wú)頭緒的排查的同時(shí)，對于牽頭方在縮小范圍后需要開(kāi)放的態(tài)度去請求關(guān)聯(lián)方配合定位，而對于關(guān)聯(lián)方則需要有積極配合的工作態(tài)度。

  • 是否有足夠的日志

定位故障原因，最常用的方法就是分析應用日志，對運維人員不僅需要知道業(yè)務(wù)功能對應哪個(gè)服務(wù)進(jìn)程，還要知道這個(gè)服務(wù)進(jìn)程對應的哪些應用日志，并具備一些簡(jiǎn)單的應用日志異常錯誤的判斷能力。

  • 是否有core或dump等文件

故障期間的系統現場(chǎng)很重要，這個(gè)在故障應急前建議在有條件的情況下留下系統現場(chǎng)的文件，比如CORE\DUMP，或TRACE采集信息等，備份好一些可能被覆蓋的日志等。
上述是一般性的故障常見(jiàn)的方法，在重大故障或多方處理的故障出現時(shí)，往往小范圍的排查不利于快速解決，需要啟動(dòng)緊急處理的流程，建議可以考慮以下溝通：

  • 召集相關(guān)人員
  • 描述故障現狀
  • 說(shuō)明正常應用邏輯流程
  • 陳述變更
  • 排查進(jìn)展，展示信息
  • 領(lǐng)導決策

2、完善監控
1）從監控可視化上完善
完善的監控策略需要有統一的可視化操作界面，在制定完善的監控策略后，故障處理人員需要能夠快速的看到相應的運行數據，比如：能夠看到一段時(shí)間的趨勢、故障期間的數據表現、性能分析的情況等等數據，且這些數據可以提前制定好策略直接推出分析結果給故障處理人員，這樣就大大提高了故障的處理效率，以呼叫中心系統為例，需要提前配置好以下實(shí)時(shí)交易數據，以便故障定位：
-交易性能數據：平均交易耗時(shí)、系統內部模塊交易耗時(shí)（IVR交易耗時(shí)、接口總線(xiàn)交易耗時(shí)）、關(guān)聯(lián)系統交易耗時(shí)（核心交易耗時(shí)、工單系統交易耗時(shí)等）
-重要交易指標數據：交易量、IVR交易量、話(huà)務(wù)量、座席通話(huà)率、核心交易筆數、工單等系統交易量
-交易異常情況數據：交易成功率、失敗率、錯誤碼最多交易
-按服務(wù)器分析交易數據：按server統計各服務(wù)交易處理筆數，交易總耗時(shí)
有了以上交易數據，并通過(guò)監控按一定頻率統計，運維人員在出現故障時(shí)，通過(guò)鼠標即點(diǎn)擊即可看到故障什么時(shí)候開(kāi)始，是系統內部有問(wèn)題還是關(guān)聯(lián)系統有問(wèn)題，最突出的交易是哪一支，各服務(wù)器交易量是否均衡等情況。
2）從監控面上完善
監控最基本的工作就是實(shí)現對負載均衡設備、網(wǎng)絡(luò )設備、服務(wù)器、存儲設備、安全設備、數據庫、中間件及應用軟件等IT資源的全面監控管理。在應用軟件類(lèi)的監控工作中，不僅需要有服務(wù)進(jìn)程、端口等監控，還需要有業(yè)務(wù)、交易層的監控。
全面性的應用監控可以讓故障提前預警，并保存了影響應用運行環(huán)境的數據，以縮短故障處理時(shí)間。
3）從監控告警上完善
完善的監控策略需要有清晰的監控告警提示，值班人員要以根據監控告警即可作出簡(jiǎn)單的問(wèn)題定位與應急處理方案。比如類(lèi)似以下的監控短信：
22時(shí)，【理財應用系統】中【應用服務(wù)器LC_APPsvrA 10.2.111.111】的【前置應用模塊】出現【應用端口：9080】不存在，該端口作用【提供理財應用處理（負載均衡部署）】，原因可能為【SERVER1服務(wù)異常停止】，監控系統己進(jìn)行以下應急處理【自動(dòng)執行端口進(jìn)程啟動(dòng)】，該事件緊急程度【高】。
管理員可以通過(guò)短信內容看到哪個(gè)系統、哪個(gè)應用、哪個(gè)模塊出了什么問(wèn)題，可能是什么原因，對業(yè)務(wù)有什么影響，是否需要馬上處理（比如凌晨出現此預警是否可以延遲到次日處理）等信息。
4)從監控分析上完善
完善的監控策略不僅需要有實(shí)時(shí)的數據告警，也要有匯總數據的分析告警,實(shí)時(shí)數據分析的告警的重要性不用多說(shuō)，對于匯總分析的數據則能發(fā)現潛在風(fēng)險，同時(shí)也為分析疑難雜癥提供幫忙。
5)從監控主動(dòng)性上完善
監控不僅僅是報警，它還可以做得更多，只要我們想辦法賦予它主動(dòng)解決事件的規則，它便有為管理員處理故障的能力。
3、應急方案
提前制定好故障應急方案是很有必要的，但在日常工作過(guò)程中我們的應急方案遇到一些問(wèn)題：
1）應急方案缺乏持續維護，缺乏演練，信息不及時(shí)、不準確；
2）應急方案過(guò)于追求大而全，導致不利于閱讀與使用；
3）應急方案形式大于實(shí)際使用效果，方案針對性不強；
4）只關(guān)注應急方案的內容，但沒(méi)有關(guān)注運維人員對方案的理解；
針對上述常見(jiàn)問(wèn)題，應急方案需要做到以下幾點(diǎn)：
1）內容精簡(jiǎn)
很多人可能會(huì )認為故障出現的形式各種各樣，所以應急方案需要涉及到方方面面。但實(shí)際的故障處理過(guò)程中，我們可以發(fā)現其實(shí)我們的應急措施往往重復使用幾個(gè)常用的步驟，所以我認為應急方案要有重點(diǎn)，如果一個(gè)應急方案可以應對平時(shí)故障處理80%的場(chǎng)景，那這個(gè)應急手冊應該是合格的。過(guò)于追求影響應用系統方方面面的內容，會(huì )導致這個(gè)方案可讀性變差，最終變更一個(gè)應付檢查的文檔。以下是我覺(jué)得應用系統應急方案應該有的內容：
（1）系統級：
能知道當前應用系統在整個(gè)交易中的角色，當前系統出現問(wèn)題或上下游出現問(wèn)題時(shí)，可以知道如何配合上下游分析問(wèn)題，比如：上下游系統如何通訊，通訊是否有唯一的關(guān)鍵字等。
另外，系統級里還涉及一些基本應急操作，比如擴容、系統及網(wǎng)絡(luò )參數調整等。
（2）服務(wù)級：
能知道這個(gè)服務(wù)影響什么業(yè)務(wù)，服務(wù)涉及的日志、程序、配置文件在哪里，如何檢查服務(wù)是否正常，如何重啟服務(wù)，如何調整應用級參數等。
（3）交易級：
能知道如何查到某支或某類(lèi)交易出現了問(wèn)題，是大面積、局部，還是偶發(fā)性問(wèn)題，能用數據說(shuō)明交易影響的情況，能定位到交易報錯的信息。這里最常用的方法就是數據庫查詢(xún)或工具的使用。
知道最重要的交易如何檢查是否正常，重要的定時(shí)任務(wù)的應急處理方案，比如開(kāi)業(yè)、換日、對賬的時(shí)間要求及應急措施。
（4）輔助工具的使用：
有時(shí)候，需要借助一些工具或自動(dòng)化工具輔助分析并應急，這時(shí)需要有輔助工具如何使用的方法。
（5）溝通方案：
溝通方案涉及通訊錄，包括上下游系統、第三方單位、業(yè)務(wù)部門(mén)等渠道。
（6）其它：
上述5點(diǎn)內容如何都完備，相信這個(gè)應急手冊己可以解決80%的故障恢復工作。
2）應急方案是一項持續的工作
有了應急方案，如何讓運維人員持續去更新是難點(diǎn)。我認為要解決這個(gè)難點(diǎn)，需要先讓運維人員經(jīng)常使用這個(gè)手冊。如果一個(gè)手冊沒(méi)有場(chǎng)景可以用，那就需要管理者為運維人員創(chuàng )造機會(huì )去使用這個(gè)手冊，比如應急演練。
3）關(guān)注運維人員對應用關(guān)鍵信息的認識
前兩點(diǎn)關(guān)注了手冊，最后一點(diǎn)我覺(jué)得有必要關(guān)注使用這個(gè)手冊的人。有些運維人員認為應用運維人員沒(méi)有能力去把應用系統本身的內容了解得很透徹，所以應用運維人員在故障處理過(guò)程中的地位很尷尬，運維人員掌握操作權，但卻不知道應該操作什么。
對此，我認同應用運維人員不需要掌握應用系統的業(yè)務(wù)功能，但我覺(jué)得就對應用系統本身來(lái)講應用運維人員需要具備以下最基本的能力：
（1）知道應用系統這個(gè)是干什么的，基本的業(yè)務(wù)是什么；
（2）知道應用架構部署、上下游系統邏輯關(guān)系；
（3）知道應用下的服務(wù)的作用、端口、服務(wù)級的應急處理，日志等數據信息如何找到并簡(jiǎn)單定位。
（4）知道應用系統重要的時(shí)間點(diǎn)及任務(wù)，比如開(kāi)業(yè)、停業(yè)、換日、定時(shí)任務(wù)的時(shí)間點(diǎn)以及如何判斷這些任務(wù)是否正確
（5）知道最重要的幾支交易的流程；
（6）知道常見(jiàn)數據庫表結構，并能使用。
4、智能化事件處理
處理方法如下圖（詳細的智能化涉及監控、規則引擎、配置工具、CMDB、應用配置庫等模塊協(xié)同工作）

睿智創(chuàng )新RAIZ，一體化IT服務(wù)提供商




我要咨詢(xún)
服務(wù)熱線(xiàn)

（86）130-4243-1809
周一至周五:9:00~17:00

沈陽(yáng)睿智創(chuàng )新科技有限公司
">