- 爬蟲崗位職責 推薦度：
- 相關推薦
爬蟲崗位職責
在現(xiàn)實社會中，崗位職責起到的作用越來越大，崗位職責具有提高內(nèi)部競爭活力，更好地發(fā)現(xiàn)和使用人才的作用。想學習制定崗位職責卻不知道該請教誰？下面是小編幫大家整理的爬蟲崗位職責，歡迎大家分享。
爬蟲崗位職責1
職責描述：
1，負責網(wǎng)絡爬蟲系統(tǒng)的'設計與開發(fā)
2，對爬取的網(wǎng)頁信息進行數(shù)據(jù)抽取，清洗和去重等工作
任職要求：
1、2年及以上網(wǎng)絡爬蟲開發(fā)經(jīng)驗，本科及大專學歷，計算機相關專業(yè)，
2、積極、溝通順暢，工作認真負責
3、扎實的編程能力，熟悉常用算法和數(shù)據(jù)結(jié)構(gòu)等基礎知識
4、熟練掌握開發(fā)語言java或c/c++，熟悉腳本語言和正則表達式
爬蟲崗位職責2
職位描述：
工作職責：
1.開發(fā)網(wǎng)頁自動化腳本。
2.負責商品信息結(jié)構(gòu)化，編寫自動化腳本解析網(wǎng)頁信息。
3.商品索引系統(tǒng)：億級sku的庫存價格實時跟蹤同步，并對商品進行智能分類、本地化、圖片處理和去重。
4.設計、開發(fā)、測試、部署以及維護并改進各子系統(tǒng)；
5.管理項目優(yōu)先級并按時交付。
職位要求：
1.全日制統(tǒng)招本科、碩士畢業(yè)，1年以上軟件開發(fā)工作經(jīng)驗；
2.熟悉至少一門通用靜態(tài)編譯編程語言，c/c++/java/c#/go；
3.熟悉web端基礎標準，包括html、css、javascript、json等；
4.熟悉python或其他腳本語言，有興趣和能力根據(jù)需求學習其他編程語言；
5.熟悉unix/linux環(huán)境，memcache/redis/mongodb等存儲系統(tǒng)，能獨立設計開發(fā)包括前后端交互的業(yè)務子系統(tǒng)；
6.熟悉常見的設計模式、單元測試、持續(xù)開發(fā)集成、code review，并能在日常工作踐行；
7.了解搜索引擎、電子商務、社交類應用的`系統(tǒng)基本架構(gòu)，能對已有的子系統(tǒng)進行優(yōu)化調(diào)整的優(yōu)先；
8.活躍的開源項目貢獻者優(yōu)先。
爬蟲崗位職責3
職位要求:
具備良好的計算機基礎，熟悉http協(xié)議，具備良好的`基礎前端知識;
有過良好的高并發(fā)系統(tǒng)的后臺開發(fā)經(jīng)驗;
具備一定的數(shù)據(jù)處理/分析經(jīng)驗，熟悉hadoop、mapreduce、spark等并行計算框架;
了解小程序的基礎框架，有實際開發(fā)經(jīng)驗更優(yōu);
掌握c/c++、python等一門或多門語言，有nodejs開發(fā)經(jīng)驗更優(yōu);
如果您還具備以下技能，我們會優(yōu)先考慮:
具備網(wǎng)絡爬蟲系統(tǒng)的開發(fā)經(jīng)驗，有反爬蟲實踐經(jīng)驗;
具備機器學習框架的開發(fā)使用經(jīng)驗;
熟悉傳統(tǒng)搜索引擎的seo規(guī)則。
爬蟲崗位職責4
職責描述：
1.參與爬蟲系統(tǒng)的架構(gòu)設計與開發(fā)；
2.負責執(zhí)行和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng)，進行多平臺信息的抓取和分析；
3.負責網(wǎng)頁信息和app數(shù)據(jù)抽取、清洗、消重等工作，提升平臺的抓取效率；
4.參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的.調(diào)度策略；
5.實時監(jiān)控爬蟲的進度和警報反饋。
任職要求：
1.本科以上學歷，3年以上爬蟲開發(fā)相關經(jīng)驗，熟練使用python或java進行開發(fā)；
2.熟練使用正則表達式、css path、xpath等，能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
3.熟練使用mysql數(shù)據(jù)庫，掌握redis、mongodb、hive等常用nosql技術(shù)并具有實戰(zhàn)經(jīng)驗；
4.熟悉各種抓取技術(shù)，包括代理、phantomjs/selenium、驗證碼處理；
5.熟悉整個爬蟲的設計及實現(xiàn)流程，有從事網(wǎng)絡爬蟲、網(wǎng)頁信息抽取開發(fā)經(jīng)驗，熟悉反爬蟲技術(shù)，有分布式爬蟲架構(gòu)經(jīng)驗；
6.具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機器學習背景者優(yōu)先；
7.快速學習能力，工作積極主動，有創(chuàng)業(yè)熱情和良好的團隊協(xié)助能力；
8.需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗，沒有相關經(jīng)驗的勿擾。
爬蟲崗位職責5
職位描述：
工作職責：
1、負責設計和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng)，進行多平臺信息的抓取和分析工作；
2、負責網(wǎng)頁信息和app數(shù)據(jù)抽取、清洗、消重等工作，提升平臺的.抓取效率；
3、參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；
4、實時監(jiān)控爬蟲的進度和警報反饋。
任職要求：
1、有扎實的算法和數(shù)據(jù)結(jié)構(gòu)能力；
2、熟悉爬蟲原理，熟悉常見的反爬蟲技術(shù)，有爬蟲相關項目開發(fā)經(jīng)驗者優(yōu)先；
3、掌握http協(xié)議，熟悉html、dom、xpath等常見的數(shù)據(jù)抽取技術(shù)；
4、有大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、信息提取等經(jīng)驗者優(yōu)先。
爬蟲崗位職責6
職位描述：
1、負責廣告素材線索和垂直類產(chǎn)品爬蟲系統(tǒng)的設計、開發(fā)
2、抓取數(shù)據(jù)的'清洗、落地、分析
3、抓取策略算法的更新維護，以及確保數(shù)據(jù)抽取準確、高效
任職要求：
1、具備強悍的編碼能力、扎實的數(shù)據(jù)結(jié)構(gòu)和算法功底
2、熟悉tcp，http協(xié)議原理；熟悉ajax工作原理；精通python編程，熟悉一種開源爬蟲框架和源碼；
3、有爬蟲、信息抽取、文本分類、大數(shù)據(jù)處理相關經(jīng)驗優(yōu)先
4、有自然語言處理、機器學習經(jīng)驗優(yōu)先
爬蟲崗位職責7
崗位職責：
1.負責網(wǎng)絡爬蟲的`架構(gòu)設計、開發(fā)與優(yōu)化；
2.負責抓取數(shù)據(jù)的清洗、落地、分析；
3.抓取策略算法的更新維護，以及確保數(shù)據(jù)抽取準確、高效。
任職要求：
1.兩年及以上互聯(lián)網(wǎng)或軟件行業(yè)工作經(jīng)驗；
2.理解http協(xié)議，熟悉html、dom、xpath；
3.熟悉linux開發(fā)環(huán)境，至少熟悉python/go/java/node.js中的一種編程語言；
4.有爬蟲、信息抽取、文本分類、大數(shù)據(jù)處理相關經(jīng)驗優(yōu)先；
5.有自然語言處理、機器學習經(jīng)驗優(yōu)先；
6.熟悉瀏覽器內(nèi)核、渲染機制優(yōu)先；
7.工作認真，細心，有條理，積極性高；良好的溝通能力及團隊合作精神。
爬蟲崗位職責8
崗位職責
1.熟悉線程池、并發(fā)機制、鎖機制、線程安全原理；
2.java體系知識：網(wǎng)絡io、設計模式、linux、jvm、java類加載機制、java內(nèi)存模型；
3.爬蟲經(jīng)驗：webmagic、adsl撥號、正則表達式、脫殼技術(shù)、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpclient、分詞、分布式爬蟲調(diào)度、數(shù)據(jù)質(zhì)量監(jiān)控、代理ip調(diào)度算法、配置化爬蟲、授權(quán)爬蟲、輿情、應用市場、反爬；
4.熟悉http/http、tcp/ip、socket等通訊協(xié)議；
5.6年以上軟件開發(fā)經(jīng)驗，至少2年爬蟲開發(fā)經(jīng)驗。
任職要求
1.采集、清洗、監(jiān)控、配置化、調(diào)度、反爬、數(shù)據(jù)爬取、分詞、檢索等數(shù)據(jù)采集研發(fā)；
2.較強的邏輯思維和發(fā)散思維；
3.計算機或相關專業(yè)本科及以上學歷。
【爬蟲崗位職責】相關文章：
爬蟲崗位職責12篇02-19
值班崗位職責-崗位職責07-25
倉管員的崗位職責-崗位職責01-15
it部經(jīng)理崗位職責-崗位職責07-25
物業(yè)班長崗位職責-崗位職責11-03
庫管崗位職責-崗位職責01-10
渠道銷售崗位職責-崗位職責01-10
業(yè)務代表的崗位職責-崗位職責01-11
保險內(nèi)勤的崗位職責-崗位職責01-11