两个都放开会影响权重,能不能禁止起中一个被抓取?
热议
2楼 蝙蝠侠 4小时前
可以
3楼 M100700 4小时前
可以
怎么搞?去Google账号里设置还是写在robot.txt?
4楼 沙龙 4小时前
在其中一个站的robots.txt上,配置disable。
如果2个域名使用的是相同内容,你得配置2个webserver,其中一个配置disable即可。
5楼 soyeo 4小时前
<link rel="canonical" href="https://">
新建个wrobots.txt为不需要被抓取
User-Agent: *
Disallow: /
7楼 M100700 4小时前
在其中一个站的robots.txt上,配置disable。
如果2个域名使用的是相同内容,你得配置2个webserver,其中一 ...
2个域名都用一样的内容。不能使用同一个网站源文件么?必须复制一份哇?
8楼 沙龙 4小时前
2个域名都用一样的内容。不能使用同一个网站源文件么?必须复制一份哇? ...
配置2个webserver,指向相同内容。
在A域名上,通过nginx的location指定robots.txt,不清楚是否可行。
9楼 M100700 4小时前
soyeo 发表于 2022-9-20 18:14
这个好像可以。我研究一下
https://yoast.com/rel-canonical/
10楼 M100700 4小时前
在不需要抓取的站点下添加:
多谢,可以试试。
申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。
评论前必须登录!
立即登录 注册