最近日本中文字幕免费完整,曰韩伦理福利在线观看,国产欧美一区二区精品性色,中文人妻视频

企業(yè)與個(gè)人網(wǎng)絡(luò)營銷一站式服務(wù)商
網(wǎng)站建設(shè) / SEO優(yōu)化排名 / 小程序開發(fā) / OA
0731-88571521
136-3748-2004
一半是海水 一半是火焰 互聯(lián)網(wǎng)大數(shù)據(jù)行業(yè)生死劫
信息來源:轉(zhuǎn) 鳳凰網(wǎng)智庫觀察   發(fā)布時(shí)間:2019-12-22   瀏覽:
一半是海水 一半是火焰 互聯(lián)網(wǎng)大數(shù)據(jù)行業(yè)生死劫

     這可能是大數(shù)據(jù)行業(yè)經(jīng)歷的最寒冷的一個(gè)冬天。年關(guān)將至,國人習(xí)慣于用各種圓滿的方式給即將過去的一年劃上句號(hào),不過,這對(duì)于許多大數(shù)據(jù)行業(yè)從業(yè)者來說,似乎有些奢望。

     整頓、倒閉、離職......最近數(shù)月以來,股股冷峻的氣息一直籠罩在行業(yè)上空。多次監(jiān)管動(dòng)作不斷提醒和鞭策著大數(shù)據(jù)公司,是時(shí)候告別野蠻生長(zhǎng)的時(shí)代了,合規(guī)才是正途。

巨變啟幕

     監(jiān)管重錘落地,此前狂飆突進(jìn)的大數(shù)據(jù)產(chǎn)業(yè)突然被按下“暫停鍵”。

     自今年 9 月以來,多家大數(shù)據(jù)公司接連被查,巨變啟幕,行業(yè)“一夜入冬”。

     9 月 6 日,大數(shù)據(jù)智能風(fēng)控服務(wù)供應(yīng)商魔蝎數(shù)據(jù)被警方調(diào)查,一位核心高管被帶走,官網(wǎng)至今無法正常訪問;另一家大數(shù)據(jù)公司新顏科技的 CEO 黃向前也在同一天被警方帶走調(diào)查;這天,聚信立發(fā)通知主動(dòng)停止了爬蟲業(yè)務(wù),然未能幸免于“難”,僅過了幾天后,聚信立被爆有警方進(jìn)駐公司調(diào)查;

     9 月 11 日,知名幣圈項(xiàng)目公信寶運(yùn)營主體被杭州警方查封;次日,有媒體報(bào)道,集奧聚合深圳分公司十余人被帶走,北京辦公室也有多人被深圳警方帶走;另有爆料稱,天翼征信的總經(jīng)理、副總經(jīng)理及市場(chǎng)人員被警察帶走。

     一周之內(nèi),5 家公司被查,如此陣勢(shì)引發(fā)業(yè)內(nèi)恐慌,但這可能只是剛剛開始。

     緊接著,有傳言稱百融云創(chuàng)數(shù)據(jù)查詢受影響、個(gè)人征信數(shù)據(jù)業(yè)務(wù)被暫停,深圳分公司員工被帶走,后被官方否認(rèn)。9 月 27 日,同盾科技子公司信川科技高管被帶走協(xié)助調(diào)查;10 月 21 日,51 信用卡委托外包催收公司因涉嫌尋釁滋事等罪被調(diào)查;10 月 25 日,新京報(bào)報(bào)道稱,央行發(fā)文緊急調(diào)研銀行與上述第三方數(shù)據(jù)公司合作情況,排查的合作內(nèi)容主要涉及數(shù)據(jù)采集、信用欺詐、信用評(píng)分、風(fēng)控建模....

     有業(yè)內(nèi)人士分析稱,上述公司被查與其開展的“爬蟲”業(yè)務(wù)有關(guān),根源亦在于涉足現(xiàn)金貸、715 高炮、套路貸、暴力催收、“超利貸”等業(yè)務(wù)。

     據(jù) AI 前線不完全統(tǒng)計(jì),此次清查波及的大數(shù)據(jù)公司至少 15 家左右(以下根據(jù)公開資料整理,力有不逮,難免遺漏或錯(cuò)誤,請(qǐng)見諒):


     那個(gè)“2019 年,捕獲獨(dú)角獸最多的機(jī)構(gòu):紅杉、阿里、騰訊和警方”的網(wǎng)紅段子在引人發(fā)笑的同時(shí),也反映出了當(dāng)下大數(shù)據(jù)公司的尷尬處境。

     今年 11 月以來,公安部加大了 APP 違法違規(guī)采集個(gè)人信息集中整治力度,共下架整改 100 架 APP,其中考拉海購、房天下、樊登讀書、天津銀行等知名 APP 也在列,這些 APP 多涉及無隱私協(xié)議、收集使用個(gè)人信息范圍描述不清、超范圍采集個(gè)人信息和非必要采集個(gè)人信息等情形。據(jù)悉,今年以來,公安部“凈網(wǎng) 2019”專項(xiàng)行動(dòng),已查處違法違規(guī)采集個(gè)人信息的 APP 共 683 款。

監(jiān)管風(fēng)暴席卷而來。大數(shù)據(jù)行業(yè)內(nèi)人心惶惶,經(jīng)此一擊,許多大數(shù)據(jù)公司遭受重創(chuàng),大量數(shù)據(jù)接口被切斷,數(shù)據(jù)產(chǎn)品停售,部分公司業(yè)務(wù)部門解散、裁員,還有一些公司瀕臨倒閉。據(jù)一本財(cái)經(jīng)統(tǒng)計(jì),或有上萬人因此離開大數(shù)據(jù)行業(yè)。


禍起爬蟲?市場(chǎng)已是風(fēng)聲鶴唳。

     一時(shí)間,人人聞“爬蟲”色變。白騎士、葫蘆數(shù)據(jù)、天機(jī)數(shù)據(jù)、立木征信、聚信立等大數(shù)據(jù)公司紛紛宣布暫停爬蟲業(yè)務(wù);還有的公司在幾天之內(nèi)火速將爬蟲業(yè)務(wù)從經(jīng)營業(yè)務(wù)范圍中“抹掉”,招聘“爬蟲工程師”的公告信息也被緊急撤下;一些爬蟲程序員因?yàn)閾?dān)憂是否游走在違法邊緣,頭發(fā)又多掉了幾根....

     業(yè)內(nèi)有這樣一種說法,爬蟲貢獻(xiàn)了互聯(lián)網(wǎng) 50% 的流量,它對(duì)于互聯(lián)網(wǎng)的繁榮功不可沒。但該技術(shù)同時(shí)也因“用途”而充滿爭(zhēng)議。爬蟲是一項(xiàng)見不得“陽光”的技術(shù),它廣泛運(yùn)用,卻少有人愿意承認(rèn)在使用它。因?yàn)樗31挥米鞣欠ㄊ占畔⒌墓ぞ,站上?shù)據(jù)隱私、數(shù)據(jù)安全的對(duì)立面。

     “爬蟲技術(shù)本身并無對(duì)錯(cuò),但要看怎么用,用錯(cuò)了肯定違法啊!币晃怀绦騿T向 AI 前線表示,“技術(shù)無罪,關(guān)鍵在于人!

網(wǎng)絡(luò)爬蟲是非常普遍的一種數(shù)據(jù)挖掘技術(shù),它是一種按照一定的規(guī)則,自動(dòng)地抓取網(wǎng)絡(luò)信息的程序或者腳本。爬蟲技術(shù)最早主要運(yùn)用在搜索引擎中,它滿足了人們的數(shù)據(jù)獲取、分析需求。早在 1995 年,為了不越“邊界”,互聯(lián)網(wǎng)搜索引擎與網(wǎng)頁持有者之間達(dá)成了一項(xiàng)“君子協(xié)定”——robot 協(xié)議。該協(xié)議規(guī)定了哪些信息該爬,哪些信息不該爬,20 多年來,該協(xié)議一直沿用至今。

     在遵循 robot 協(xié)議的前提下使用爬蟲技術(shù),是沒有任何風(fēng)險(xiǎn)的。但往往有些“作惡者”試圖越過紅線,一些大數(shù)據(jù)公司打著“大數(shù)據(jù)分析”的名頭違規(guī)違法,爬取任何網(wǎng)頁及訪問用戶的數(shù)據(jù),致使“蟲災(zāi)”泛濫。

     現(xiàn)在的爬蟲似乎無所不能,只要有賬號(hào)密碼都可以爬,包括電商平臺(tái)、外賣平臺(tái)、地圖、旅行網(wǎng)站、共享單車、等平臺(tái)的個(gè)人信息,用戶的通訊錄、上網(wǎng)地址、收貨地址、聊天記錄、搜索記錄、支付記錄,甚至央行的征信報(bào)告......總之,一切皆可爬,還可進(jìn)行定制化爬取。

在互聯(lián)網(wǎng)金融領(lǐng)域,上述數(shù)據(jù)主要被濫用于借貸、風(fēng)控環(huán)節(jié),具體多用在導(dǎo)流獲客和暴力催收上。除了支付寶爬蟲、微信爬蟲,甚至還有同業(yè)爬蟲,同業(yè)爬蟲即爬取同行的信息。據(jù)了解,摩羯科技曾推出該款產(chǎn)品,其要求借貸者提供在其它平臺(tái)上的用戶名與密碼,并通過爬蟲爬來競(jìng)品的貸款額度及還款記錄,這樣便相當(dāng)于剽竊了同行的風(fēng)控成果。

     今年 3 月,號(hào)稱擁有中國最大的簡(jiǎn)歷數(shù)據(jù)庫的巧達(dá)科技被警方一鍋端,該公司的簡(jiǎn)歷數(shù)據(jù)庫全部是通過非法手段爬取而來,非法獲取的簡(jiǎn)歷超過 2 億條,它將簡(jiǎn)歷庫以 13800 元每年的價(jià)格出售,非法獲利。光是 2017 年,巧達(dá)科技憑此業(yè)務(wù)營收高達(dá) 4.11 億元。泄露、買賣、濫用,這些違規(guī)收集來的數(shù)據(jù)被肆無忌憚的曝光、出售,令用戶信息猶如在裸奔,嚴(yán)重侵犯了用戶個(gè)人隱私。

爬蟲也是一項(xiàng)“矛盾”的技術(shù)。爬與反爬的“斗爭(zhēng)”每天都在上演,力量此消彼長(zhǎng)。

     據(jù)一位資深程序員介紹,現(xiàn)在比較常見的反爬蟲技術(shù)手段主要有,檢測(cè) Header 信息;設(shè)置 IP 訪問頻率,分析同一 IP 或同一設(shè)備在短時(shí)間內(nèi)多次訪問同一頁面或進(jìn)行相同操作;識(shí)別 UA、通過動(dòng)態(tài)頁面增加爬取難度等方式。

     這幾年,隨著隨著 AI 的發(fā)展,一些機(jī)器學(xué)習(xí)、canvas 指紋等智能反爬蟲技術(shù)也被運(yùn)用起來。例如,騰訊云網(wǎng)站管家 WAF 就將 AI 檢測(cè)引擎能力,運(yùn)用到了爬蟲 Bot 程序檢測(cè)的環(huán)節(jié)上,AI 引擎能夠?qū)φ军c(diǎn)訪問流量的會(huì)話進(jìn)行追蹤,通過流量畫像,匹配行為模型及行為標(biāo)簽進(jìn)行識(shí)別,進(jìn)而識(shí)別出爬蟲 Bot 程序流量行為。

     今年 5 月,被稱為“中國版 GDPR”的《數(shù)據(jù)安全管理辦法》征求意見稿發(fā)布,第 16 條規(guī)定,網(wǎng)絡(luò)運(yùn)營者采取自動(dòng)化手段訪問收集網(wǎng)站數(shù)據(jù),不得妨礙網(wǎng)站正常運(yùn)行;如自動(dòng)化訪問收集流量超過網(wǎng)站日均流量三分之一,網(wǎng)站要求停止自動(dòng)化訪問收集時(shí),應(yīng)當(dāng)停止。

     一位業(yè)內(nèi)人士認(rèn)為,技術(shù)只是工具,在獲取數(shù)據(jù)時(shí)需要考慮數(shù)據(jù)到底有沒有獲得授權(quán),需要幾方授權(quán),在拿到用戶授權(quán)的情況下,有沒有拿到網(wǎng)站等數(shù)據(jù)來源方的授權(quán),這其中涉及到的權(quán)責(zé)邊界應(yīng)該更明確。

     隨著監(jiān)管越來越嚴(yán)格,爬蟲技術(shù)的使用邊界也將更加明晰;ヂ(lián)網(wǎng)從業(yè)者應(yīng)當(dāng)懷有敬畏之心,要時(shí)時(shí)注意不要觸碰邊界,畢竟爬蟲只是技術(shù),灰色的是“助惡者”。


繁榮下的危局

     整頓風(fēng)波揭開了大數(shù)據(jù)灰色產(chǎn)業(yè)鏈的冰山一角,也將大數(shù)據(jù)行業(yè)高光背后的暗影一并曝在了陽光下。

伴隨著互聯(lián)網(wǎng) + 迅速成為潮流,以及深度學(xué)習(xí)推動(dòng)下的第三次人工智能熱潮,大數(shù)據(jù)技術(shù)備受追捧,“得數(shù)據(jù)者得天下”是一度被風(fēng)口裹挾著的大數(shù)據(jù)產(chǎn)業(yè)的繁榮寫照。

     金融大數(shù)據(jù)是大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用最廣的領(lǐng)域之一。2013 年前后,互聯(lián)網(wǎng)金融開啟了發(fā)展元年,一大批 P2P、第三方支付等互金平臺(tái)涌現(xiàn)。P2P 平臺(tái)一騎絕塵,但缺乏數(shù)據(jù)能力、風(fēng)控能力差是其發(fā)展掣肘之一,如此一來,就為第三方數(shù)據(jù)公司提供了誕生的契機(jī)。

     同盾科技便是彼時(shí)的入局者之一。2013 年,時(shí)任阿里巴巴集團(tuán)安全部技術(shù)總監(jiān)的蔣韜,還曾因離職創(chuàng)辦同盾科技在業(yè)內(nèi)引起一番不小的轟動(dòng)。成立當(dāng)年,同盾科技便拿到了來自 IDG 資本和華創(chuàng)資本的 A 輪融資。AI 前線查詢天眼查顯示,同盾科技自成立以來已獲 6 輪融資,除 2018 年外,幾乎每年都有融資,最近的一次是在今年 4 月完成的超 1 億美元 D 輪融資,估值近 20 億美元。

     有數(shù)據(jù)統(tǒng)計(jì),2013 年到 2015 年,中國市場(chǎng)上 P2P 網(wǎng)貸平臺(tái)數(shù)量從 800 家增長(zhǎng)至 2595 家,累計(jì)交易規(guī)模超過 11.4 萬億。另據(jù)億歐智庫《2018 中國智能風(fēng)控研究報(bào)告》顯示,截至去年年底,573 家金融風(fēng)控企業(yè)共獲得投資金額超過 1000 億元,其中三成企業(yè)獲得三次及以上的投資。這些企業(yè)中,有 69.8% 成立于 2013 年 -2017 年。

     最近兩年,金融科技成為 P2P 熱潮落幕后新的創(chuàng)投風(fēng)口,再次助推大數(shù)據(jù)產(chǎn)業(yè)發(fā)展走向新的高潮,同盾科技、51 信用卡等大數(shù)據(jù)公司也躍升為明星獨(dú)角獸。

     在草莽生長(zhǎng)的早期階段,不少大數(shù)據(jù)公司趁機(jī)鉆了法律不完善的空子,其數(shù)據(jù)業(yè)務(wù)游走在道德和法律邊緣。自 2015 年以來的多次監(jiān)管動(dòng)作也無不為從業(yè)機(jī)構(gòu)敲響警鐘——要合規(guī)化使用數(shù)據(jù)。

     在很大程度上,這些 P2P 網(wǎng)貸平臺(tái)與第三方數(shù)據(jù)公司是“相互成就”的關(guān)系。而一榮俱榮,一損俱損,當(dāng)監(jiān)管“緊箍咒”收緊之后,大數(shù)據(jù)產(chǎn)業(yè)也迎來了洗牌階段!澳切┠軌驖M足政策及市場(chǎng)客戶需求的團(tuán)隊(duì),肯定會(huì)越做越好,而那些無法真正滿足需求的,將面臨淘汰!币晃淮髷(shù)據(jù)行業(yè)從業(yè)者向 AI 前線表示。

     某頭部互聯(lián)網(wǎng)消費(fèi)金融平臺(tái)的大數(shù)據(jù)負(fù)責(zé)人表示,這次的監(jiān)管行動(dòng)從產(chǎn)品—爬蟲技術(shù)—相關(guān)的數(shù)據(jù)方—網(wǎng)貸平臺(tái),可以說是一條鏈?zhǔn)降牟樘。盡管有些嚴(yán)格,但如果不經(jīng)過整治, 行業(yè)內(nèi)存在的“缺乏明確規(guī)則”的問題就很難作出改變。一些大數(shù)據(jù)公司“單純”的認(rèn)為自己只是給甲方做數(shù)據(jù)服務(wù),即便出了問題,也事不關(guān)己。但現(xiàn)在來看,這些權(quán)責(zé)是需要進(jìn)一步明確的。


漸入寒冬深處,結(jié)局也格外凄冷。

     一些重度依賴爬蟲業(yè)務(wù)的大數(shù)據(jù)公司輕則業(yè)務(wù)停滯,重則或?qū)⒁虼说瓜,即便能勉?qiáng)活下來的恐怕也要被迫轉(zhuǎn)型。另一方面,一些 AI 公司、金融科技公司也會(huì)受到不同程度的影響,沒有了大量數(shù)據(jù)持續(xù)“投喂”,模型該如何迭代優(yōu)化?

     “有時(shí)候市場(chǎng)表面上的虛假繁榮是難以持續(xù)的,泡沫總有一天要被戳破。這次監(jiān)管風(fēng)暴對(duì)小機(jī)構(gòu)來說,以后可能更難做了,對(duì)一些大機(jī)構(gòu)會(huì)有一定影響,但可能影響沒那么大,優(yōu)勝劣汰會(huì)加劇。大浪淘沙后留下來的是那些對(duì)用戶來說定價(jià)更低、體驗(yàn)更好的產(chǎn)品,而淘汰掉的絕大部分是那些不合規(guī)的企業(yè)。因此,從長(zhǎng)期來看,通過強(qiáng)監(jiān)管之后,大數(shù)據(jù)行業(yè)會(huì)更合規(guī),總體來說對(duì)用戶會(huì)更友好!鄙鲜龃髷(shù)據(jù)負(fù)責(zé)人繼續(xù)說道。

     一位第三方數(shù)據(jù)公司的高管對(duì)形勢(shì)感到樂觀。她認(rèn)為,這次監(jiān)管風(fēng)暴對(duì)行業(yè)的健康發(fā)展是有利的,監(jiān)管介入、政策出臺(tái),這都在引導(dǎo)行業(yè)往好的方向發(fā)展,數(shù)據(jù)采標(biāo)清洗質(zhì)檢等流程會(huì)逐漸趨向標(biāo)準(zhǔn)化、合規(guī)化、安全化,進(jìn)而提高大數(shù)據(jù)行業(yè)的進(jìn)入門檻,并倒逼從業(yè)者提升服務(wù)質(zhì)量。

     一半是海水,一半是火焰。值得一提的是,一些具有國企背景的大數(shù)據(jù)公司逆勢(shì)成為行業(yè)里的“香餑餑”。那些不合規(guī)的企業(yè)終將湮沒不斷滾滾向前的歷史洪流中,未來的大數(shù)據(jù)產(chǎn)業(yè)屬于合規(guī)的參與者。





上一條: 老師也瘋狂:在家播網(wǎng)課,我比直播軟件崩潰得還快 遠(yuǎn)程教育軟件的前景
下一條: 50年巨變 互聯(lián)網(wǎng)精神的現(xiàn)實(shí)啟示
案例鑒賞
多年的網(wǎng)站建設(shè)經(jīng)驗(yàn),斌網(wǎng)網(wǎng)絡(luò)不斷提升技術(shù)設(shè)計(jì)服務(wù)水平,迎合搜索引擎優(yōu)化規(guī)則
精辟網(wǎng)文
多年的網(wǎng)站建設(shè)經(jīng)驗(yàn),網(wǎng)至普不斷提升技術(shù)設(shè)計(jì)服務(wù)水平,迎合搜索引擎優(yōu)化規(guī)則
長(zhǎng)沙私人做網(wǎng)站    長(zhǎng)沙做網(wǎng)站    深圳網(wǎng)站建設(shè)    株洲做網(wǎng)站    東莞做網(wǎng)站    南京防腐木    湖南大拇指養(yǎng)豬設(shè)備    株洲做網(wǎng)站    
版權(quán)所有 © 長(zhǎng)沙市天心區(qū)斌網(wǎng)網(wǎng)絡(luò)技術(shù)服務(wù)部    湘公網(wǎng)安備 43010302000270號(hào)  統(tǒng)一社會(huì)信用代碼:92430103MA4LAMB24R  網(wǎng)站ICP備案號(hào):湘ICP備13006070號(hào)-2