職責描述：
1、設計工商和金融類的主流網站反扒解決方案
2、負責分布式爬蟲系統(tǒng)的核心技術研究、架構設計和落地指導
3、負責爬蟲算法的策略優(yōu)化，提升網頁抓取的效率和動態(tài)增量更新
任職要求：
1、計算機相關專業(yè)，三年以上網頁，APP和微博類爬取等相關工作經驗優(yōu)先
2、熟悉反爬機制，有能力解決圖片驗證碼、IP訪問限制和增量更新問題。
3、負責指導爬蟲工程師進行技術驗證，核心技術問題的攻關，解決爬取過程中的難題
4、熟悉MongoDB、Mysql、Oracle等數(shù)據(jù)庫操作，具有數(shù)據(jù)庫應用軟件的開發(fā)經驗
5、熟悉JAVA，Python等語言，掌握爬蟲框架（如Scrapy，WebMagic）的設計和優(yōu)化
6、熟悉網絡編程和多線程機制，具有http網絡編程項目經驗
7、邏輯思維嚴謹，具有良好的溝通能力和團隊協(xié)作精神

北京知因智慧數(shù)據(jù)科技有限公司，是一家致力于行業(yè)大數(shù)據(jù)和知識圖譜的金融科技企業(yè)。即利用機器學習和知識圖譜技術，結合金融行業(yè)咨詢經驗，為金融企業(yè)的風險管理、精準營銷、客戶價值、供應鏈金融等領域提供全新的數(shù)據(jù)服務和產品運營。
知因智慧，是IBM和中國科學院大數(shù)據(jù)團隊的跨界融合，創(chuàng)始人是中國最早一批從事金融大數(shù)據(jù)挖掘，利用知識圖譜分析企業(yè)風險的專家團隊。此外，知因智慧的團隊來自咨詢公司金融領域專家，長期服務于銀監(jiān)會、央行、工商銀行、建設銀行、中國銀行、國家開發(fā)銀行、交通銀行、中信銀行等各大金融機構，具有豐富大數(shù)據(jù)分析背景和金融行業(yè)的服務經驗，將在中國提供具有高水準的數(shù)據(jù)服務。
　早在2006年，知因智慧的創(chuàng)始團隊即在中國銀監(jiān)會利用中國最大的十九家銀行的跨行客戶信貸數(shù)據(jù)，分析集團客戶、信貸客戶的企業(yè)關系圖譜，并研發(fā)了中國第一個該領域的模型——OSCAR客戶風險預警模型，成功應用于我國監(jiān)管機構，并推廣至眾多大型國有銀行、股份制銀行、城市商業(yè)銀行，取得了巨大經濟效益。