從今年開始，爬蟲行業競爭越發激烈。
一些公司開發出“骨骼清奇”的爬蟲產品，開始搶奪市場。
最近，現金貸行業出現一種“同業爬蟲”產品，可以直接將其他現金貸平臺的放款額和風控數據爬出來。
“別人放多少，我就放多少，自己都不用做風控了?！蹦钞a品使用者稱，這一“風控奇招”在圈內開始悄然盛行。
大數據行業激烈競爭，爬蟲在其中越發勢力微薄，他們只能靠這些劍走偏鋒的產品突圍了嗎？
01爬蟲兇猛
“同業爬蟲？”第一次聽到這個詞，王浩一臉懵逼。
兩個月前，王浩的公司轉型現金貸，他在市面上四處尋找風控系統和數據源，此時，摩羯科技的商務人員，給他推薦了這個最新的“爬蟲產品”。
“對方說，這是一款特別討巧的產品，用了之后，你基本可以不用其他風控?！碑斖鹾泼靼灼浔澈蟮倪壿嫼?，他表示不得不服。
如何檢驗借款人是一個好用戶？
最簡單的辦法，就是看這個用戶在其他現金貸平臺上的授信額度，“別人放款多少，我就放款多少”。
王浩稱，這就相當于別的現金貸平臺，幫你做了風控。
同業爬蟲是一款專門爬取現金貸數據的產品，只需要你提供其他現金貸平臺的用戶名和密碼，就可以爬取用戶的所有信息。
“這個產品，最早是我們給玖富定制的，他們使用了一年，爬過100多家同業的數據?！蹦︳煽萍嫉纳虅杖藛T稱，后來發現產品運行不錯，所以決定變成產品大規模推廣。
可爬取數據的現金貸平臺，目前產品介紹上顯示為95家
具體怎么做到的？
摩羯科技的商務人員，用爬取某個現金貸平臺舉例：
而返回的結果，主要是以下信息：
如果條件允許，甚至會有更為細致的數據維度：
“也就是說，你在其他現金貸平臺注冊填寫的所有信息，都可能被爬出來?！蓖鹾品Q。
“只需用戶授權賬號和密碼，成功率在85%以上?！蹦萍嫉纳虅諏σ槐矩斀浄Q。
而產品說明中，同業爬蟲的優勢被描述得極為誘人：相對于電商、社交等弱數據而言，同業數據本身屬于金融范疇，最能反映個人近期的征信信息。
在沒有足夠能力做大數據風控的情況下，同業爬蟲可借鑒多平臺的風控經驗。
“這個方式太野蠻了，直接把別人家的風控成果竊取?！蓖鹾品Q，“但是這個方式直接把同業數據全部掠奪，粗獷多了?！边@和信用卡“以卡辦卡”的道理很像，如果你有別的信用卡，我就給你發卡。
產品一出現，不少準備做現金貸的平臺就蜂擁而至。
在人人都做現金貸的時代，這個“劍走偏鋒”的技術，確實省去風控環節，讓項目得以快速上線。
而更多有趣的爬蟲產品，在不斷推向市場。
大家都知道支付寶的數據“金貴”，市面上開始出現一些專門爬取支付寶數據的產品。
摩羯科技的支付寶爬蟲產品操作極為簡單，只需要用支付寶掃描一下登錄“二維碼”，就可登錄。
而后臺的爬取結果無比細致：支付寶用戶的真實姓名、手機號、收貨地址、近一年的購物信息，甚至詳細到每筆交易的金額。
“這個產品挺可怕的，我和商務在測試這個產品時，中間去小賣部買了包煙，回來就發現爬取了這次交易?！蹦硺I內人士稱。
爬蟲產品遠遠不止這些。
某大數據公司的業務員稱，公司最近開發了新項目，可爬取旅行網站、外賣平臺、地圖、共享單車等平臺的個人信息，甚至可以定制化抓取，拿到第一手鮮活原始數據。
爬蟲越發兇猛，而其背后的原因，要從爬蟲行業的生產現狀說起……
02光明與黑暗
爬蟲技術也并不神秘，無非分為三步：“爬”上網頁、“鏟”下數據，進行加工清洗。
爬蟲有光明的一面。
類似百度谷歌這樣的搜索引擎，其核心邏輯，也是爬蟲——爬到用戶要的關鍵詞，再展現搜索結果。
“讓有價值的東西，更好地呈現，這是爬蟲最大的功勞?！币慌老x公司的聯合創始人金苑稱。
爬蟲也有黑暗的一面。
大數據時代，爬蟲成為低成本獲取數據的捷徑，經常淪為“黑暗武器”。
2014年，互聯網創業高潮中，爬蟲技術迎來了一次小爆發。
“爬蟲生態鏈里有這么一類公司，專門替人爬蟲，增加APP的虛擬訪問量?！苯鹪吠嘎?，1萬瀏覽量，報價10元。
“很多公司去競爭對手網站或APP上爬數據，然后拿過來自己用?！苯鹪贩Q。
在2016年，有媒體曝出，大眾點評網起訴百度，稱百度未經許可，使用爬蟲技術從“大眾點評網”上大量獲取用戶點評信息，用于自家的百度地圖及百度知道產品。
最終一審判決，要求百度停止不正當競爭行為，并賠償323萬。
光明與黑暗的交集中，爬蟲行業在2016年，才迎來了真正爆發。
2016年，現金貸行業成為爬蟲產品的最大買家。
爬蟲公司為其提供五花八門的服務，例如爬取淘寶、社交網絡、網上銀行等。
“不管是網站還是APP，只要有賬號密碼就可以爬，連央行的征信報告都能爬?！蹦硵祿撠熑寺暦Q，“技術好，就沒有爬不到的數據?！?/p>
這其中最火的產品，是通話記錄（運營商數據）爬取。
在這一波浪潮中，崛起了眾多爬蟲公司，其中做得最大的是“聚信立”。
“爬取通訊錄，主要是用于用戶失聯后，可以找他們的親朋好友催款?！蹦称脚_的風控負責人平元鑫稱，“通訊錄的偽造成本較低，將聯系人改一個號碼就行，有時候可能會失效?！?/p>
而通話記錄的數據，則可靠得多。
而爬取方式也很簡單，只要用戶提供手機號碼和服務碼，就可登陸各大運營商的系統爬取。
聚信立爬取數據后，提供給客戶的“個人用戶報告”極為細致，包括通話號碼、次數、時長等信息。
“聚信立爬取一次的價格，是1到3塊，但也成了現金貸公司的標配，聚信立賺了很多錢?！逼皆畏Q。
“你就算吧，每放款一個用戶，就得支付聚信立1到3元，如果用戶去其他平臺借款，還要再收一次?！逼皆握J為，“聚信立成了現金貸時代的最大贏家之一?！?/p>
某種程度上，爬蟲技術撐起了現金貸的黃金時代，為其提供大量的風控養料。
但爬蟲行業的好日子，并沒有持續太長時間。
在聚信立的領頭下，大量的公司開始涌進——市場熱鬧起來。
“成立的公司越來越多，但大部分都是代理商，真正有爬蟲技術的，也就30多家?！苯鹪贩Q。
為了搶奪用戶，行業開始打價格戰，甚至免費。
“比如，融360和富數，都是你買他家產品，可能會免費附贈爬蟲服務?！苯鹪贩Q，“很多公司卯足了勁，開始追趕聚信立，搶奪客戶?！?/p>
爬蟲產品同質化嚴重，客戶挑選的標準，自然變成“誰家便宜用誰”。
突然間，一門好生意，變得掙錢都難了，爬蟲行業陷入艱難存活的旋渦中。
“盡管爬蟲沒有門檻，找幾個技術就可以干，卻是一個臟活累活?！睆氖屡老x工程師三年的韓蘇稱，“幾乎每天，爬蟲和反爬之間都在戰斗?！?/p>
每天早上一坐到公司，打開電腦，韓蘇就知道，今天的戰爭開始了。
“誰都不想把自己的數據免費貢獻出來，為了反爬，他們也會動用一切手段?！表n蘇稱。
比如，對于單一IP和設備頻繁登錄，直接封掉；網站調整為動態的，只有正常用戶行為，才能調取數據等等。
“比如以前一個移動商城只要一個短信驗證碼，后來升級了，驗證碼又加了一個，我們就得重新寫爬蟲代碼?！表n蘇稱。
在爬蟲公司，后臺會有一套監控系統，可以實時看成功失敗的比例。
而韓蘇需要每個小時去查看一次，一旦失敗率上升，就要馬上找到原因，并處理。
近來機器學習、canvas指紋等新技術，也被頻繁用到反爬軟件里，爬取難度越來越大，數據越來越不穩定。
“爬蟲開始變成一個重運營、重技術的活?！表n蘇稱，“數據穩定性，成為爬蟲公司最大的宣傳點?！?/p>
“前有伏兵（反爬），后有追兵”，韓蘇如此形容夾縫中的爬蟲行業。
03未來之路
今年6月1日，《網絡安全法》開始實施，無比嚴苛：
未經授權爬取用戶手機通訊錄超過50條記錄，公司法人最高可獲刑3年；
未經授權讀取用戶公積金社保記錄的超過5萬條的，公司法人最高可獲刑7年。
整個大數據行業面臨生死劫，上萬數據接口關停，大量數據源被生生切斷，行業90%的公司面臨淘汰。
而有意思的是，在這輪清洗中，爬蟲技術卻成了最后的救命稻草。
“安全法規定，獲取用戶的數據，必須授權，而爬蟲就打了一個擦邊球?！蹦炒髷祿镜腃EO稱，
“爬蟲需要用戶授權用戶名和密碼，只是大部分用戶不知道，爬取的數據如此具體，將他所有數據翻遍?！?/p>
但激烈競爭依然存在，爬蟲行業未來的命運又將如何？
很多爬蟲公司為了存活，各種產品開始出現，如同業爬蟲、支付寶爬蟲，而摩羯科技的最新產品，是爬微信。
但多位業內人士稱，這樣的競爭方式，不是“康莊大道”，而是“羊腸小道”。
業內人士稱，現金貸早期，客戶資質都比較好，后期騙貸和欺詐的都來了，只靠簡單的爬蟲技術，很難擋住他們。
“爬蟲公司要提供更多價值，比如，給對方的風控產品，定制化數據，或者自己也可以建立風控模型?！苯鹪贩Q。
已有幾家頭部公司開始了轉型的嘗試，一家爬蟲公司正準備將所有數據整合，做一整套的現金貸風控解決方案。
而老大哥“聚信立”，也有這方面的嘗試。
“現在最關鍵的能力，不是建模能力，而是整合和清洗能力?！本坌帕⒌腃EO羅皓對一本財經稱，“因為數據維度越來越多，電商、支付等信息，可能都關系到“還款能力，需要整合起來?！?/p>
但這條路，也不是很好走，因為很多大數據公司和風控產品公司，都在這塊領域搶肉吃，爬蟲公司又如何和他們競爭？
部分從業者對于爬蟲技術的未來命運不太樂觀，在大數據行業，沒有獨家數據源的公司，都難以存活，何況沒什么門檻的爬蟲技術？
“孤立無支的爬蟲技術，競爭力越發微弱。被收購，成為大數據公司或者大公司的一個爬蟲部門，也許也是一條出路?！苯鹪贩Q。
“存在即是合理”，也有部分從業者比較樂觀，現金貸的黃金時代，他們永不會缺業務。
在大數據的涅槃重生時代，爬蟲行業也到了一個關鍵節點。
是深耕行業，還是劍走偏鋒，他們可能會走向兩條截然不同的路。
?。☉茉L者要求，本文部分人名為化名）
人妻精品一区二区三区_好紧好湿好硬国产在线视频_亚洲精品无码mv在线观看_国内激情精品久久久責任編輯：王超
免責聲明：
中國電子銀行網發布的專欄、投稿以及征文相關文章，其文字、圖片、視頻均來源于作者投稿或轉載自相關作品方；如涉及未經許可使用作品的問題，請您優先聯系我們（聯系郵箱：cebnet@cfca.com.cn，電話：400-880-9888），我們會第一時間核實，謝謝配合。
