崗位職責(zé)

1. 負(fù)責(zé)數(shù)據(jù)平臺(tái)的數(shù)據(jù)采集與爬取、解析處理、入庫(kù)及備份等數(shù)據(jù)日常工作；

2. 數(shù)據(jù)采集工具軟件平臺(tái)的開(kāi)發(fā)、測(cè)試工作；

3. 負(fù)責(zé)分析新的數(shù)據(jù)需求‚ 完成數(shù)據(jù)處理的設(shè)計(jì) 文檔 和實(shí)現(xiàn)；

4. 負(fù)責(zé)數(shù)據(jù)的清洗、整理、整合及合并等工作；

5. 負(fù)責(zé)數(shù)據(jù)處理程序設(shè)計(jì)框架改善‚ 數(shù)據(jù)處理性能優(yōu)化‚ 系統(tǒng)數(shù)據(jù)處理的能力提高；

6. 實(shí)時(shí)*****爬蟲(chóng)的進(jìn)度和警報(bào)反饋。

注：1. 有大數(shù)據(jù)、互聯(lián)網(wǎng)公司工作經(jīng)驗(yàn)優(yōu)先；

2. 有etl設(shè)計(jì)、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、維度設(shè)計(jì)、數(shù)據(jù)挖掘工具者優(yōu)先考慮。

相關(guān)經(jīng)驗(yàn)、技能要求

1. 本科以上學(xué)歷，3年以上開(kāi)發(fā)經(jīng)驗(yàn)，其中2年以上爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)；

2. 熟悉linux，精通python；

3. 熟悉協(xié)議，有網(wǎng)絡(luò)編程經(jīng)驗(yàn)；

4. 熟悉java，html，css，熟悉ajax；

5. 精通網(wǎng)頁(yè)抓取原理和相關(guān)技術(shù)，了解常見(jiàn)的反扒機(jī)制；

6. 熟悉python爬蟲(chóng)框架 scrapy‚ scrapy-redis‚ selenium‚ phantomjs；

7. 熟悉整個(gè)爬蟲(chóng)的設(shè)計(jì)及實(shí)現(xiàn)流程，有從事網(wǎng)絡(luò)爬蟲(chóng)、網(wǎng)頁(yè)信息抽取開(kāi)發(fā)經(jīng)驗(yàn)，熟悉反爬蟲(chóng)技術(shù)，有分布式爬蟲(chóng)架構(gòu)經(jīng)驗(yàn)；

8. 熟練使用mysql數(shù)據(jù)庫(kù)，掌握redis、mongodb、hive等常用nosql技術(shù)并具有實(shí)戰(zhàn)經(jīng)驗(yàn)；

9. 學(xué)習(xí)能力強(qiáng)，工作負(fù)責(zé)認(rèn)真，具有強(qiáng)烈的進(jìn)取精神和樂(lè)觀(guān)的工作態(tài)度。

聯(lián)系方式/地圖

• 公司地址：上海市楊浦區(qū)****
• 郵政編碼：********
• 聯(lián)系電話(huà)：********
• 聯(lián) 系 人：********
• 傳　　真：********
• E-mail：********

您可能感興趣的職位