關于公安大數據的“冷思考”

按語：上周受邀參加了湖北省公安廳舉辦的公安大數據論壇，之前并沒有把上臺演講當回多大的事，因為這些年講的也不算少了，說來說去也就那么回事了，所以，就準備拿過去一篇公開發表的論文稍微改改，上臺糊著講講也就算了。但是，在臨講的前一天，獲知有很多基層具體干事的兄弟來聽(第二天都要參加一個全省的數據管理員培訓班)，覺得講些大路貨給他們聽有點過意不去，因此就謝絕了晚上的一些應酬安排，一個人呆在房間好好的把公安行業大數據這些年的過往想了想，本來按照套路應該是先寫個講稿再畫個PPT的，但是因為時間關系，也算是想有一個新的嘗試吧，就直接做了史上最短的六頁PPT(一頁封面，一頁目錄，一頁封底，真正的內容只有三頁)，第二天講了二十多分鐘吧，反應似乎還不錯，近些日子已經有幾個兄弟說能不能把講稿共享出來，其實真沒有現成的講稿，只能靠回憶略微整理下。當日演講內容大致如下：

……非常榮幸有機會參加這個論壇，并上臺和大家分享我的一些做法和想法。前面已經有幾位專家都講了大數據的技術，還有一些解決方案，但我今天不想和大家談技術，因為公安大數據應用，肯定是一些成熟技術在這一行業的應用，如果需要進行底層技術的革新，就公安行業目前現狀肯定是玩不了這個，剛剛小艾跟我聊天說了一句很經典的話：每一次公安行業的革新都是起源于技術，寄希望單靠技術就能夠把工作翻個身，但是，最后的結果往往也是死于技術，或者說被所謂的技術給玩死了。因此，所以我們對此一定要很清醒，很冷靜。所以我為今天的演講定了一個題：大數據的“冷思考”?為何要說冷思考，因為大數據這段時間已經熱到了極點，但是，炒概念的要遠遠多于落地能發揮實際作用的，因此，我們是不是要冷靜一點，看看大數據到底能給我們帶來什么?今天主要跟大家交流三個方面的內容：

一是對近些年本人參與的所謂的“大數據”的實踐進行一個簡要回顧;

二是談談我眼里的大數據現狀;

三是針對公安行業交流一些發展方向的思考。

首先，回顧一下自己這些年所謂的“大數據”歷程。

為什么叫“所謂”，因為我自己心里很清楚，從2011年開始從12億的車輛卡口數據中排查“套牌車”，到目前在想用算法來計算某類犯罪的發展趨勢，所接觸的，所使用的數據準確點講應該是“動態的海量結構化數據”。至少跟我心目中“大數據”還有很大的差距。為什么要做這樣一個回顧，說白了，怕大家認為我是個光說不練的江湖騙子(此處有掌聲)。

第一個案例，套牌車排查。就是在12億的卡口數據中找出了三百四十五個車牌，這些車牌符合一個特征，五分鐘之內在相距十公里以上的卡口被電子警察都拍到了。這是我第一次用HADOOP來進行數據預處理和分析，是在2011年初。

第二個案例，住宿登記。是在2012年的夏天，我忽然想看一看，壞人們登記住旅館有沒有規律，因此我找來了在押人員數據，匯聚了大約5個多億的旅館數據，同樣用了“HADOOP+ORCLE”的套路，發現有盜竊前科的壞人都喜歡在半夜2點和凌晨六七點去開房，而且是19歲到23歲為主，還更傾向于床位數在50個以下的中低檔旅館，等等。

第三個案例，是特殊人員的監控。同樣是通過車輛軌跡，判斷人員的相應狀態，因為這個話題比較敏感，就不詳細跟大家闡述了。

第四個案例，我把它成為“流竄車”排查，簡單講就是基于存儲在異地的海量數據，進行分布式的交叉比對，目標是找出發案前后1小時在A市活動的車輛，同時在4小時前后該車又在B、C等市活動，如果這些車輛的涉車人員為此類案件前科，那流竄犯罪的概率就相當大了。

以上就是前期做的一些工作，其實回顧起來也沒有什么感到很特別值得驕傲的，如果說這些年我們參與大數據這項工作還有那么一點點驕傲的話，那就是在這個過程中，包括一些爭論中，我們逐步形成的一些行業大數據應用的思路、理念，甚至一些看起來都有點不著邊際的想法。

其次，談談我眼中的現狀

本人比較喜歡古詩，最近經常和我兒子一起背唐詩，我就用四句古詩來形容一下我們所面臨的現狀：

第一句，天街小雨潤如酥，草色遙看近卻無。這是我用來形容目前的大數據的整個大環境的，“天街”是什么?是京城!京城的小雨非常滋潤對不對，非常美麗，國家出臺的大數據發展綱要，各個部委辦局都很積極，昨天在飛機上還在拜讀環保部的大數據方案，但是，這些只能遠觀不能褻玩，落到地面，落到基層，卻只能是“近卻無”，為什么?缺少具體的實施方案，缺少具體的落地案例，應用層沒有享受到大數據能帶來什么好處，只是聽到一片關于大數據的呼聲。最近微信圈了都在轉一篇文章，發展大數據不要一味追求數據規模大，要“應用為先”，這是李國杰院士寫的，大家想一想，只要是搞IT，搞軟件的都知道，我們要以應用需求為導向，這是個搞軟件最基本常識，但是這個常識現在需要一個院士來呼吁，可想我們的面臨的現狀有多么尷尬。

第二句。白發三千丈，緣愁似個長。這是我用來形容公安行業的，三千丈很長很長，詩人用了夸張的手法，公安行業的數據也在用這個手法，經?？吹揭粋€地市的匯報材料就在說，我們有兩百多億條數據，甚至可以精確到個位，且不論到底有沒有這么多數據，你先能不能告訴我這個Oracle 11g的OCP，你是用什么方法把數據的條數最后累加到百億量級的，還是過一段時間加一點來估算估算的(此處有笑聲)。所以，公安行業的數據現狀并不是非常的樂觀，所以我會看到一些有見識的領導在發愁，號稱是坐在數據金礦上，但是心底還是緣愁似個長。

第三句。我本將心向明月，奈何明月照溝渠。這是一句很有意思的詩，念到這首詩我就會想起《天下無賊》的那個橋段。這句是用來形容目前公安行業的數據管理現狀的，我們經常講，信息化是三分建設，七分應用，十分管理，十二分的數據質量。這句話就是跟后兩者有關系，上級管理部門的出發點肯定都是好的，建系統，推應用，推不動怎么辦?最有用的一招就是出臺考核辦法，不考核大家不干，但是一考核大家就開始亂干，目前公安機關的可信的數據有多少，我經常會舉起一只手，非?？鋸埖恼f，不超過一只手，110報警是真的，這是老百姓打過來的，在押人員是真的，這個作假自己是也要被關進去的，還有多少數據時真實的，我們的巡邏盤查數據真實嗎?暫住人口數據能反應真的暫口情況嗎?還有案件數據能說明社會面發案情況嗎?不能!所以說，明月最后大部分都照到溝渠里去了。

第四句，竹外桃花三兩枝，春江水暖鴨先知。前面三句把面臨的形勢說的都很悲觀，第四句要漲漲士氣，在大數據應用的方向，我們很多地方已經開始了積極探索的步伐，像部里的云搜索，還有那個國家啥平臺，包括一些省廳，市局，都已經在開始試水大數據應用，在所有的這些探索中，我最關心的就是打擊違法犯罪這一方向，群眾看公安，關鍵看破案，公安信息化，公安大數據，首要是要解決破案問題，連壞人都不去搞，都搞不定，天天喊互聯網+有什么用，天天喊為民服務有什么用，那是本末倒置。所以，從前面我試水的幾個案例看，也是在朝著打擊違法犯罪的方向去發展，這一切都在表明，公安行業的大數據春天已經來臨。但是這個春天不是我們坐等能等來的，需要一批人去思考，去探索，就像劉禹錫那句詩，千淘萬漉雖辛苦，吹盡狂沙始到金……

最后，關于下一步發展方向的思考

第一，以應用為導向。我們行業的大數據應用不是搞底層研發，是要解決實際問題，大數據在公安行業現實的應用場景到底有哪些，這是我們要好好思考的問題。我結合前期實踐認為，至少目前三個方向是可行的，一是規律總結，二是人物刻畫，三是趨勢預判。這個分類可能不是很合理，可能是有交叉的地方，但是，這三個方面是具備實踐條件的(具體案例略)

第二，關于數據以及來源問題。這個問題非常關鍵，大數據沒有可信的數據支撐，就會精確誤導，靠考核，靠層級壓迫，靠搞大規模會戰去搞數據，顯然是不能滿足大數據應用的需要的，目前我們具備大數據的特征的數據有：

1、“人車物”軌跡，時間、空間與實體形成動態軌跡，是一項很好的大數據源頭;

2、行為日志，這個與系統日志，數據庫日志有相同之處，但又不完全相同，舉個例子，我最近做了個基于手機的考試系統，十道題，是可以自己在家做的，因此所有人交上來都是滿分，但是，我記錄了兩道題之間的時間，結果我發現第三題有80%的人都等待了一分鐘以上，而其余的題點的都很快，雖然所有的人第三題結果都是對的，但是我告訴負責培訓的同志，第三題是薄弱環節，很多人需要強化這方面的知識培訓。這就是行為日志的作用。

3、音視頻，這個就不用多說了。

4、傳感器，沒有傳感器的大規模應用，就不要談啥大數據，這是我很久以前就說的觀點。

5、社會民眾參與。這一點很多人都沒有覺醒過來，公安行業玩大數據，不能光靠自己的力量，要學會打人民群眾的汪洋大海戰爭，找到社會公眾、包括其他單位部門的利益驅動點，發動大家來參與，圍繞數據做文章，特別是學會跨領域使用數據。(幾個案例略)，關于大數據應用的數據來源問題，我還是用一句詩來形容吧，大數據背景下的數據，都是那種“隨風潛入夜，潤物細無聲”

第三，關于智庫的共建與共享。找公眾過程中，大家都會產生一些創意，我們要把這些創意集中以來建庫管理，要進行歸類、分析、優化、整合，最終形成大數據應用的一個知識庫(智庫)，這個知識庫是開放式的，是可以去共享，大家可以去評價，去推薦的。(案例略)

第四、關于工具手段支撐。最關鍵的幾個，簡單算法在公安行業的落地，所謂的大數據應用一定是無數的數據加簡單的算法，這是一個目前已經證實的可行套路，大數據應用在業務邏輯層面不要去想的太復雜?；诖髷祿慕９ぞ?，這個就不多說了，我也一直在搞這個事情，其中重點包括數據資源組織與預處理、分布式計算、流式計算等內容。還有就是模型的標準化，這個也不是一句話兩句話能講清楚的，大致意思就是大數據的模型一定要做到可復制，可擴展，可移植，這樣才有應用的生命力。

最后，強調一下整體的數據管理架構。由于時間關系，也不展開說了，我眼中的大數據應用的整體架構，應該是一個“混搭”型模式，從最底層的，數量最多的非結構化數據，到中間層的半結構化數據，再到頂層的結構化數據，分別有不同的工具、不同的方式來處理。但一條主線就是努力使更多的非結構化數據往結構化數據的方向走，這也是人類社會依托計算機這一工具來認識世界、理解世界的一條必由之途。

最后，用我和業界一位大哥級人物的對話結束今天的分享。這位大哥說：當哪一天公安行業不談到大數據的“大”字時，這個行業就真正理解了大數據。我說：現在我是個商人，當商人不談錢的時候，他就開始賺大錢了。謝謝大家。