链接卡片图片修复:img 加 referrerpolicy=no-referrer 绕过哔哩哔哩等 CDN 防盗链;抓取 UA 换浏览器形态;识别并丢弃 X 的全站占位图
This commit is contained in:
@@ -26,7 +26,9 @@ const (
|
||||
maxBody = 512 << 10
|
||||
// maxRedirects 跳转链上限。
|
||||
maxRedirects = 3
|
||||
userAgent = "Mozilla/5.0 (compatible; ONEBot/1.0; +link-preview)"
|
||||
// 浏览器形态的 UA:不少站点(X、微博、部分门户)对未知爬虫 UA 给的
|
||||
// og 元数据不全或直接拒绝,对浏览器 UA 则照常输出 <head> 里的标签。
|
||||
userAgent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36"
|
||||
)
|
||||
|
||||
// Card 是抓取结果的数据形状;定义在 model 里(要落库、要给前端),
|
||||
|
||||
Reference in New Issue
Block a user