一、簡介

當前計算機網絡與信息安全領域，正面臨著一場全新的挑戰。一方面，伴隨大數據和云計算時代的到來，安全問題正在變成一個大數據問題，企業和組織的網絡及信息系統每天都在產生大量的安全數據，并且產生的速度越來越快。另一方面，國家、企業和組織所面對的網絡空間安全形勢嚴峻，需要應對的攻擊和威脅變得日益復雜，這些威脅具有隱蔽性強、潛伏期長、持續性強的特點。

    面對這些新挑戰，傳統的企業安全管理平臺局限性顯露無遺，主要體現在以下幾個方面：

1. 海量數據的處理

企業安全管理平臺管理涉及企業網絡中的各種安全設備、網絡設備、應用系統等，每天會產生大量的安全事件和運行日志等安全數據，其數據量可能非常巨大。面對海量的安全數據，安全管理人員很難從中發現有價值的信息;另一方面，面對海量數據時，傳統的企業安全管理平臺技術架構在數據采集、存儲、分析處理和展現方面也遭遇不同瓶頸。

2. 多源異構數據采集

企業網絡中的各種安全設備、網絡設備、應用系統等均可能涉及不同種類不同廠家，由于各設備的產品差異性，企業安全管理平臺面對的安全數據在結構和格式上均不統一，給數據分析帶來困難。這一問題造成企業安全管理平臺數據采集效率降低，從而導致性能上遇到瓶頸。

3. 安全數據分散和孤立

企業網絡中的各種安全設備、網絡設備、應用系統等會分散在網絡的不同位置，如果各個數據之間缺乏有效的關聯，則會導致安全信息的孤立，形成信息孤島，無法對大量數據進行整體性的分析。目前網絡中的攻擊行為一般都是分段式的攻擊方式，每個步驟都可能由不同的安全設備監測發現并存在于不同日志當中，如果僅對單獨設備安全日志進行分析則難以發現完整攻擊行為。為了提高安全數據分析的準確性，就需要通過基于大數據的事件關聯分析，找出多條報警之間的相關性，從中發現潛在的威脅行為或攻擊行為。

4. 缺乏深度挖掘手段

當前網絡環境中新型攻擊手段層出不窮，與傳統攻擊手段不同，新型攻擊手段更加隱蔽，用傳統檢測方法更加難以發現，比如APT攻擊。面對新型攻擊手段的長期性、隱蔽性和高級性，傳統的基于實時分析的監控技術已經不再適應，為了防止新型攻擊手段造成的危害，有必要對歷史安全數據進行深層的離線挖掘，從大量的歷史數據之中發現新型攻擊行為的端倪，從而防患于未然。

以上問題，可以用一句話來總結，即海量、多源異構、分散獨立的安全數據，給傳統的企業安全管理平臺帶來了分析、存儲、檢索上的諸多難題。由此看來，新一代企業安全管理平臺應該以大數據平臺架構為支撐，支持超大數據量的采集、融合、存儲、檢索、分析、態勢感知和可視化，將過去分散的安全信息進行集成與關聯，獨立的分析方法和工具進行整合形成交互，從而實現智能化的安全分析與決策，將機器學習、數據挖據等技術應用于安全分析，并且要更快更好地的進行安全決策。大數據的發展給企業安全管理平臺帶來了新的挑戰，但是其催生出的大數據技術也給企業安全管理平臺帶來機遇和全新的活力。

二、何為大數據?

大數據的通俗定義為“用現有的一般技術難以管理的大量數據的集合”，廣義定義為“一個綜合性概念，它包括因具備4V(海量/多樣/快速/價值，Volume/Variety/Velocity/Value)特征而難以進行管理的數據，對這些數據進行存儲、處理、分析的技術，以及能夠通過分析這些數據獲得實用意義和觀點的人才和組織。”

大數據具有四個重要特征(即4V特點)：Volume(海量)、Variety(多樣)、Velocity(快速)、Value(價值)。

• Volume指的是數據量規模巨大到無法通過目前主流軟件工具進行有效處理和分析，所以有必要變更傳統的數據處理和分析方法。

• Variety指的是數據來源廣、形式多樣，包括結構化數據和非結構數據，非結構數據的增長速度比結構化數據的增長速度更快，并且具有十分可觀的利用價值，對其進行分析可以揭露出以前很難或無法確定的重要信息。

• Velocity是指相對于傳統數據處理系統而言，大數據分析系統對實時性的要求更高，需要在很短的時間內完成計算，否則得出的結果將是過時的、無效的。

• Value是指大數據是有價值的，但在海量數據當中，真正有價值有意義的只是很少一部分。

三、大數據在信息安全上的應用

大數據在信息安全上的應用主要表現為，數據的爆炸性增長給目前的信息安全技術帶來了挑戰，傳統的信息安全技術在面對超大數據量時已經不再適宜，需要基于大數據環境的特點開發新一代安全技術。目前流行的安全實踐主要是依賴于邊界防御，依賴于需要預定網絡威脅知識的靜態安全控制措施。但是這種安全實踐在應對目前極度延伸的、基于云的、移動性極強的商業世界來說，已經不太適宜了。基于這個背景，業界開始將信息安全的研究重點轉向智能驅動的信息安全模型，這是一種能夠感知風險的、基于上下文背景的、靈活的、能幫助企業抵御未知高級網絡威脅的模型。而這種由大數據分析工具支持的、智能驅動的信息安全方法可以融合動態的風險評估、巨量安全數據的分析、自適應的控制措施以及有關網絡威脅和攻擊技術的信息共享。其次，大數據理念可以被利用到信息安全技術中來，比如通過大數據分析可以對海量的網絡安全數據進行快速有效的關聯分析，從中找出與網絡安全相關的信息。可以預測，將大數據集成至安全實踐，將會極大地增強對IT環境的可視性，提高鑒別正常活動和可疑活動的能力，從而幫助確保IT系統的可信性，并大大提高安全事件響應能力。

四、大數據安全分析

大數據安全分析，顧名思義，就是指利用大數據技術來進行安全分析。借助大數據安全分析技術，能夠更好地解決海量安全數據的采集、存儲的問題，借助基于大數據分析技術的機器學習和數據挖據算法，能夠更加智能地洞悉信息與網絡安全的態勢，更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。

在網絡安全領域，大數據安全分析是企業安全管理平臺安全事件分析的核心技術，而大數據安全分析對安全數據處理效果主要依賴于分析方法。但當應用到網絡安全領域的時候，還必須考慮到安全數據自身的特點和安全分析的目標，這樣大數據安全分析的應用才更有價值。

五、大數據分析在企業安全管理平臺上的應用

目前應用于大數據分析的主流技術架構是Hadoop，業界在進行大數據分析時越來越重視它的作用。Hadoop的HDFS技術和HBase技術與大數據的超大容量存儲需求正好匹配，Hadoop的MapReduce技術也能滿足大數據的快速實時分析需求。

基于前面介紹過的傳統企業安全管理平臺面對的挑戰和局限性問題，可以把Hadoop技術應用在企業安全管理平臺中，發展成為新一代的企業安全管理平臺，實現支持超大數據量的采集、融合、存儲、檢索、分析、態勢感知和可視化功能。

使用Hadoop架構的新一代企業安全管理平臺具有以下特點：

• 可擴展性：支持動態增加和刪除系統節點，集群搭建方式靈活可控。

• 高效性：以分布式文件系統進行存儲數據，支持海量數據的快速讀/寫、查詢操作;采用分布式計算進行數據分析與業務操作，各業務節點獨立計算互不干，節點數量越多運算速度越快。

• 可靠性：系統自動容災(HA);采用主-從機制(Master-Slave)進行集群搭建，系統內節點間數據互相實時備份，當節點宕機時直接切換至備份節點，運算單元宕機時直接切換至備份運算節點。

• 低成本：對系統中各節點設備硬件要求不高，而且Java技術開發可跨平臺，相關技術是開源的。

總之，與傳統架構的企業安全管理平臺相比，采用Hadoop的下一代企業安全管理平臺能大大提升數據分析的運算速度，降低運算代價，提高數據安全性，為用戶靈活提供各種分析引擎與分析手段。

六、總結

綜上所述，可以看出借助大數據分析框架及大數據安全分析技術，能夠很好地解決傳統企業安全管理平臺的安全數據采集、分析、存儲、檢索問題。從長遠來看，未來的企業安全管理平臺還應通過對基于大數據分析技術的機器學習、數據挖據算法、可視化分析及智能化分析等新技術的研究，完善企業安全管理平臺功能，使其能夠更加智能地分析網絡安全態勢，從而更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。但是，不論企業安全管理平臺的技術如何發展，如何與大數據結合，企業安全管理平臺所要解決的客戶根本性問題，以及與客戶業務融合的趨勢依然未變。對大數據的應用依然要服務于解決客戶的實際安全管理問題這個根本目標。