python的网页抓取库requests

作者: 麻辣阁 分类: python 发布时间: 2018-12-11 22:15

headers 的坑

Chrome 等浏览器头部可能有类似 Accept-Encoding: gzip, deflate, br 的值, 其中 br代表 brotli, 一种 Google 开源的高效压缩算法, 使用 requests 时指定类似头部会带来的问题是编码问题, — 你可能在一些操作系统环境下无法解析得到的数据,只保留gzip就好了.

目前 nginx 默认没有 brotli 模块, 需要编译.


发表评论

电子邮件地址不会被公开。 必填项已用*标注