異常檢測(cè)論文（論文檢測(cè)存在的問題及修改說明）
本文目錄一覽：
- 1、僅有0.1M可訓(xùn)參數(shù),AIOps日志異常檢測(cè)新范式
- 2、...Transformer:基于關(guān)聯(lián)差異的時(shí)間序列異常檢測(cè)方法
- 3、建設(shè)工程質(zhì)量檢測(cè)
- 4、[論文閱讀]時(shí)序數(shù)據(jù)中的異常檢測(cè)
僅有0.1M可訓(xùn)參數(shù),AIOps日志異常檢測(cè)新范式
1、在adapter-based tuning階段，模型在transformer中插入adapter，并在訓(xùn)練過程中僅更新adapter中的參數(shù)。由于transformer中的參數(shù)包含了原日志源中的異常語義信息，adapter中的參數(shù)重點(diǎn)學(xué)習(xí)目標(biāo)日志源中獨(dú)有的異常信息。適應(yīng)新日志源的靈活性還可以不斷插入更多的adapter。
2、綜上，AIops中無監(jiān)督異常檢測(cè)涉及算法選擇、數(shù)據(jù)預(yù)處理、模型訓(xùn)練與評(píng)估等步驟，針對(duì)不同數(shù)據(jù)類型和特征采用合適的算法進(jìn)行異常檢測(cè)。深度學(xué)習(xí)方法在處理時(shí)序數(shù)據(jù)和文本日志數(shù)據(jù)時(shí)表現(xiàn)出優(yōu)勢(shì)，通過預(yù)處理增強(qiáng)數(shù)據(jù)穩(wěn)定性，進(jìn)一步提高異常檢測(cè)的準(zhǔn)確性和效率。
3、另一個(gè)是AIOps原子能力采用標(biāo)準(zhǔn)化模型規(guī)范，統(tǒng)一數(shù)據(jù)輸入，參數(shù)配置，結(jié)果輸出等接口。為AIOps單點(diǎn)原子能力到靈活的組合串接提供了基礎(chǔ)。
4、異常檢測(cè)是關(guān)鍵，它通過AI算法實(shí)時(shí)檢測(cè)出監(jiān)控?cái)?shù)據(jù)中的異常，相較于傳統(tǒng)方法，具備易配置、準(zhǔn)確率高和廣泛覆蓋的優(yōu)勢(shì)。團(tuán)隊(duì)對(duì)算法進(jìn)行了優(yōu)化，針對(duì)業(yè)務(wù)黃金指標(biāo)（如在線人數(shù)）、性能指標(biāo)（如CPU使用率）和文本數(shù)據(jù)（如日志），分別采用有監(jiān)督和無監(jiān)督模型，確保高效率地識(shí)別問題。
5、目前，博睿數(shù)據(jù)在AIOps 技術(shù)方面主要落地了三大場(chǎng)景。即智能基線預(yù)測(cè)、異常檢測(cè)及告警收斂。隨著企業(yè)業(yè)務(wù)規(guī)模擴(kuò)大，云原生與微服務(wù)的興起，企業(yè)IT架構(gòu)復(fù)雜性呈現(xiàn)指數(shù)級(jí)增長。而傳統(tǒng)的IT運(yùn)維手段面臨故障發(fā)生后，查找故障原因困難，故障平均修復(fù)時(shí)間周期長，已無法滿足新的運(yùn)維要求。
6、首先，AIOps在事件管理中的賦能場(chǎng)景包括：事前預(yù)防：通過變更檢測(cè)，對(duì)配置變更的風(fēng)險(xiǎn)進(jìn)行識(shí)別，利用歷史數(shù)據(jù)挖掘約束規(guī)則，區(qū)分合法與異常變更。事中快恢：實(shí)時(shí)異常發(fā)現(xiàn)，通過智能算法檢測(cè)鄰近點(diǎn)分布相似性，確保快速定位異常，減少M(fèi)TTD和MTTR。
...Transformer:基于關(guān)聯(lián)差異的時(shí)間序列異常檢測(cè)方法
1、在2022年的ICLR會(huì)議上，清華大學(xué)的研究團(tuán)隊(duì)發(fā)表了一篇?jiǎng)?chuàng)新論文，名為"；Anomaly-Transformer：基于關(guān)聯(lián)差異的時(shí)間序列異常檢測(cè)方法"；。該研究旨在解決無監(jiān)督時(shí)序異常檢測(cè)中的挑戰(zhàn)，通過提出一種新穎的模型來識(shí)別服務(wù)器監(jiān)測(cè)、地空探索等領(lǐng)域的異常情況。
2、在實(shí)際應(yīng)用中，時(shí)間序列異常檢測(cè)方法包括但不限于：DBSCAN算法、孤立森林、基于聚類的方法等。其中，DBSCAN算法能夠識(shí)別出無法形成聚類簇的孤立點(diǎn)，標(biāo)記為異常點(diǎn)。時(shí)間序列分析在檢測(cè)異常值時(shí)，常采用移動(dòng)平均法、同期對(duì)比增長等技術(shù)。
3、建立模型 自回歸模型：利用時(shí)間序列的歷史數(shù)據(jù)預(yù)測(cè)未來值，并設(shè)定閾值檢測(cè)異常。 滑動(dòng)平均模型：通過平滑時(shí)間序列數(shù)據(jù)來減少噪聲，提高異常檢測(cè)的準(zhǔn)確性。 自回歸滑動(dòng)平均模型：結(jié)合AR和MA的特點(diǎn)，建立更復(fù)雜的模型以捕捉時(shí)間序列中的長期和短期依賴關(guān)系。
4、基于距離的方法：Discordbased：通過識(shí)別與最近鄰距離最大的子序列來檢測(cè)異常。Clusterbased：利用聚類分析識(shí)別異常，異常程度基于子序列的非成員關(guān)系。基于密度的方法：Distributionbased：基于統(tǒng)計(jì)特征構(gòu)建分布來識(shí)別異常。Graphbased：將時(shí)間序列表示為圖結(jié)構(gòu)，通過分析節(jié)點(diǎn)和邊來檢測(cè)異常。
5、模型訓(xùn)練與推斷：通過減少真實(shí)數(shù)據(jù)與重構(gòu)數(shù)據(jù)差異實(shí)現(xiàn)VAE訓(xùn)練目標(biāo)。使用MCMC插補(bǔ)算法解釋異常檢測(cè)結(jié)果。解釋方法：為檢測(cè)到的異常實(shí)體找到一組最異常指標(biāo)，通過MCMC插補(bǔ)獲得合理潛在嵌入和重建，判斷異常維度。
建設(shè)工程質(zhì)量檢測(cè)
建設(shè)工程質(zhì)量檢測(cè)業(yè)務(wù)內(nèi)容包括專項(xiàng)檢測(cè)和見證取樣檢測(cè)。具體檢測(cè)項(xiàng)目如下：專項(xiàng)檢測(cè)：地基基礎(chǔ)工程檢測(cè)，主體結(jié)構(gòu)工程現(xiàn)場(chǎng)檢測(cè)，建筑幕墻工程檢測(cè)，鋼結(jié)構(gòu)工程檢測(cè)，建筑智能工程檢測(cè)，房屋建筑安裝工程功能性檢測(cè)，民用建筑節(jié)能檢測(cè)，民用建筑工程室內(nèi)環(huán)境污染檢測(cè)，市政道路工程檢測(cè)，市政橋梁、軌道交通工程結(jié)構(gòu)現(xiàn)場(chǎng)檢測(cè)。
建設(shè)工程質(zhì)量檢測(cè)是一項(xiàng)至關(guān)重要的活動(dòng)，它通過監(jiān)督和檢查建筑結(jié)構(gòu)、工程材料、施工工藝等方面，確保建設(shè)工程的質(zhì)量符合相關(guān)標(biāo)準(zhǔn)和要求。這項(xiàng)活動(dòng)的主要目標(biāo)是保障建筑的安全性、耐久性、保溫性和隔熱性能，從而實(shí)現(xiàn)經(jīng)濟(jì)效益與社會(huì)效益的雙重提升。
關(guān)于建設(shè)工程質(zhì)量鑒定的規(guī)定主要包括以下幾點(diǎn)：未經(jīng)竣工驗(yàn)收合格的建設(shè)工程：對(duì)地基基礎(chǔ)工程和主體結(jié)構(gòu)的質(zhì)量鑒定申請(qǐng)，應(yīng)予準(zhǔn)許。
工程質(zhì)量鑒定收費(fèi)標(biāo)準(zhǔn)如下： 在不超過10萬元的基準(zhǔn)價(jià)上，根據(jù)超過部分的價(jià)值數(shù)額實(shí)行不超過0.1%~1%的階梯性收費(fèi)。省級(jí)價(jià)格主管部門會(huì)同同級(jí)司法行政部門結(jié)合當(dāng)?shù)貙?shí)際情況制定基準(zhǔn)價(jià)。
致力于建筑工程多種結(jié)構(gòu)的精確檢測(cè)和鑒定服務(wù)（涵蓋混凝土結(jié)構(gòu)、砌體結(jié)構(gòu)、鋼結(jié)構(gòu)等）；同時(shí)涵蓋針對(duì)塔桅以及高聳建（構(gòu)）筑物的精密檢測(cè)，以及建筑構(gòu)建配件質(zhì)量的嚴(yán)格檢測(cè)。此外，我們還提供振動(dòng)測(cè)試、結(jié)構(gòu)應(yīng)力測(cè)試和結(jié)構(gòu)性能現(xiàn)場(chǎng)試驗(yàn)等服務(wù)。
[論文閱讀]時(shí)序數(shù)據(jù)中的異常檢測(cè)
時(shí)序數(shù)據(jù)中的異常檢測(cè)論文主要內(nèi)容和結(jié)論如下：異常樣本的統(tǒng)一范式定義：論文提出了對(duì)異常樣本的統(tǒng)一范式定義，以彌補(bǔ)現(xiàn)有研究中異常樣本種類定義不統(tǒng)一的問題。通過細(xì)分collective outliers為shapelet outliers、seasonal outliers和trend outliers，使得異常檢測(cè)更為精細(xì)化。
時(shí)序數(shù)據(jù)中的異常檢測(cè)問題在學(xué)術(shù)界較少有深入對(duì)比與分析，大多研究僅關(guān)注模型內(nèi)在機(jī)理的探究，對(duì)異常樣本種類的定義尚不統(tǒng)一。本文旨在通過統(tǒng)一范式定義異常樣本，利用自動(dòng)生成的合成數(shù)據(jù)對(duì)模型進(jìn)行評(píng)價(jià)，彌補(bǔ)現(xiàn)有研究的不足。
Period方法由離線周期性檢測(cè)和在線適應(yīng)性異常檢測(cè)兩部分組成，有效減輕了節(jié)假日效應(yīng)對(duì)時(shí)間序列異常檢測(cè)的影響。未來，預(yù)計(jì)會(huì)有更多學(xué)者提出解決時(shí)間序列異常檢測(cè)問題的方法。同時(shí)，通過Label-Less方法，研究團(tuán)隊(duì)探索了利用少量樣本標(biāo)注獲得更多標(biāo)注數(shù)據(jù)的可能性，這為時(shí)間序列異常檢測(cè)提供了新的視角。
在2022年的ICLR會(huì)議上，清華大學(xué)的研究團(tuán)隊(duì)發(fā)表了一篇?jiǎng)?chuàng)新論文，名為"；Anomaly-Transformer：基于關(guān)聯(lián)差異的時(shí)間序列異常檢測(cè)方法"；。該研究旨在解決無監(jiān)督時(shí)序異常檢測(cè)中的挑戰(zhàn)，通過提出一種新穎的模型來識(shí)別服務(wù)器監(jiān)測(cè)、地空探索等領(lǐng)域的異常情況。
STL 方法 STL，即季節(jié)性分解時(shí)間序列預(yù)測(cè)，是一種將時(shí)間序列數(shù)據(jù)分解為季節(jié)性因素、趨勢(shì)因素和隨機(jī)誤差的統(tǒng)計(jì)技術(shù)。這種方法適用于具有季節(jié)性波動(dòng)的數(shù)據(jù)，非常普遍。 異常檢測(cè)方法 為了更準(zhǔn)確地識(shí)別異常，我們采用了絕對(duì)中位偏差（Median Absolute Deviation， MAD）作為衡量標(biāo)準(zhǔn)。