关于网站重复内容的10个建议

用户经常问我们关于重复内容的问题。以下文章翻译自。作者是Adam Lasnik, 谷歌搜索布道者。发表于2006年12月18日。


最近，搜索引擎战略会议在寒冷的芝加哥举行。许多谷歌参加者总是被问及关于重复内容的问题。对于这个话题，我们发现有许多破碎的并且有些混乱的理解。我们想在此予以澄清。
什么是内容重复？
重复的内容一般是指在不同域名间存在大量的相同或相似的内容。很多时候，它并非故意或至少本无恶意。譬如说，有些论坛会生成一些专为手机屏幕的页面；商店物品被显示在(有时甚至是链接到)多种不同的URL上，等等。但有些时候,一些网站为了操纵搜索引擎排名，获得更多流行或长尾查询的访问量，大量地从其他网站复制内容。
什么不是重复内容？
虽然谷歌网站有方便易用的，我们的算法不会把有着相同内容的英文版和西班牙文版看作内容复制。同样，你不用担心我们把你文章中对其他文章小片段的引用认定为重复内容。
为什么谷歌关心重复内容？
谷歌用户使用Google时通常希望看到多样化的原创内容。如果他们找到的都是内容相同的一堆搜索结果，可以想见那是多么烦人。另外，网站管理员不愿意看到Google给出象example.com/contentredir?value=shorty-george〈=en一样复杂的URL。他们往往更喜欢类似example.com/en/shorty-george.htm的URL。
谷歌做了些什么?
Google在抓取网页和获得搜索结果时，总是力图索引并显示内容不同的页面。这种过滤意味着，譬如说，如果你的网站有文章的正常版和打印版，并且你没有在robots.txt里设定noindex标记，谷歌就只会选择一个版本显示给谷歌用户。对于企图利用复制内容来操控排名，欺骗谷歌用户的少数情况，我们会在对相关页面的索引和排名作出适当调整。当然，我们更愿意把重点放在过滤而不是排名调整上… 因此，在绝大多数情况下，最坏的结果就是原创者看到了不愿看到的版本出现在我们的索引里。
网站管理员如何主动处理内容复制问题?

适当阻止搜索引擎访问：与其让我们的算法来确定一个文件的”最佳”版本，你也许希望指引谷歌选取你的首选版本。譬如说，如果你不想我们索引你网站文章的打印版，你可以在你的robots.txt文件中写上目录名或正则表达式来禁止谷歌对那些打印版的抓取。
使用301重定向：如果你已经重构你的网站，请在你的原网站的.htaccess中使用301重定向(永久性重定向)来重定向你的用户、Google爬虫、以及其他搜索引擎蜘蛛等。
链接要一致：努力使你的内部链接保持一致; 不要既有/page/，又有/page和/page/index.htm 的内部链接.
使用顶级域名：为了让我们总是使用最合适的文件版本, 请尽可能使用国家特定的顶级域名。与诸如example.com/de或de.example.com的URL相比，谷歌肯定更清楚地知道example.de是以德文为核心的内容。
小心辛迪加式的联合供文：如果你为其他网站上也提供你的内容，请在每一个其他网站的文章中包括连回原文章的链接。注意：即使是这样，对一个查询，谷歌总是显示我们认为是最适合的（没被网站禁止的）版本, 它可能是，也有可能不是你所想要的版本。
使用谷歌网站管理员工具的首选域功能: 如果其他网站链接你的URL时既使用www版本又使用无www的版本，你可以用谷歌网站管理员工具让我们知道你想要哪种索引方式。
减少模板网页上的重复内容:拿版权声明来说，你有两种选择，一种是在你的每一个页面底部都有一个冗长的版权声明。另一种是设立一个专门的版权详细声明页，然后在每页底部写一个非常简短的总结，并链接到版权声明页。
避免发布无内容页:用户不喜欢看到无实际内容的页面。要尽量避免空架页。以房地产网页为例，不要发布(或至少要阻止)没有点评的点评网页，或者没有房地产列表的房地产罗列网站等。只有这样，网站用户（以及Google爬虫）才不会看到无穷多的写着“以下是在【某城市名】中不可错失的待租房列表…”但其实根本没有什么列表的网页。
了解你的内容管理系统：确保你熟悉你的网站是怎样显示内容的，尤其是当它包括了博客，论坛，或相关的系统。往往在这些系统中同一内容会以多种形式出现。
不要担心，保持快乐：不要过分受搜刮(挪用和转载)你内容站点的干扰。虽然很恼人, 它们几乎不可能对你在谷歌中的存在产生负面影响。如果你实在忍无可忍, 欢迎你提出 来声明对你的内容的所有权。我们会处理那些无赖网站。
总之, 如果你对内容复制问题有一个大体的认识，又能花上几分钟有见地地预防性维护一下你的网站，这将既帮助你们，也帮助我们为用户提供独特而相关的内容。