BD-24-1-Big Data Acquisition and Preprocessing – 大数据采集和预处理

2.1 Kurzübersicht HTTP – HTTP 概述Copy

2.2 Zugriff auf das Web mit Python – 使用PYTHON访问WEBCopy

2.2.1 urllibCopy

2.2.2 Requests – 请求Copy

3.1 Übliche Anti-Crawling-Verfahren – 常规防爬程序Copy

3.1.1 Login-Wall – 登录墙Copy

3.1.2 Reputation der IP-Adresse – IP地址阻止Copy

3.1.3 User-Agent und HTTP-Header – 用户代理和HTTP头Copy

3.1.4 Honeypots/Falsche Daten – 诱导（HONEYPOTS）/虚假数据Copy

3.1.5 JavascriptCopy

3.1.6 CAPTCHASCopy

3.2 Auth Code – 验证码Copy

3.2.1 Username/Passwort – 用户名/密码Copy

3.2.2 CSRFCopy

3.3 Proxy-IP-Pooltechnologie – 代理IP池化技术Copy

3.3.1 Datacenter Proxys – 数据中心代理Copy

3.3.2 Residential Network – 住宅网络Copy

3.3.3 ISP Proxys – ISP代理Copy

3.3.4 Mobile Proxys – 移动代理Copy

3.4 User Agent-Pool-Technologie – 用户代理池化技术Copy

3.4.1 Aufbau – 结构Copy

3.4.2 Polytechnologie in Python – PYTHON中的池化技术Copy

3.5 Regulärer Ausdruck – 正则表达式 / Grundlagen – 基础Copy

3.5.2 Auswertung in Python – PYTHON中的评估Copy

3.5.3 Auswertung in Java – JAVA评估Copy

3.6 XPATH -Ausdruck – XPATH表达式Copy

3.6.1 Wiederholung: Grundlagen XML& HTML – 重复：基础XML和HTMLCopy

3.6.2 XPATH-Grundlagen -XPATH基础Copy

4. Packet-Capturing – 数据包捕获Copy

4.1 tcpdumpCopy

4.2 Analyse – 分析Copy

Literaturverzeichnis – 参考文献Copy