HelloStranger

每个人都是初学者

入门爬虫遇见的问题

问题一:爬虫获取内容中出现”‘”引号,导致插入数据库时出现异常

解决方法:
content = content.replace("'", "\\'")

问题二:爬虫的结尾出现”\”转义字符
解决方法:content = content.replace(“\\”, “\\\\”)
注意:一定要先处理”\”问题在处理,其他的”‘”、”””等问题,否则转义符又将被转义

问题三: Data too long for column ‘content’ at row 1 插入数据过大
解决方法:将存储的列由 text 改为 mediumtext或者 longtext
具体解释看 链接

问题四:异常处理不能继续爬下去

解决方法:使用    try       except 语句

点赞

发表评论