网站的网址结构应尽可能简单些。建议您组织一下您的内容,让网址的结构合乎逻辑并易于人们理解(尽可能采用易读的字词而非冗长的ID编号)。
例如,如果您要搜索有关航空 (aviation) 的信息,像 http://en.wikipedia.org/wiki/Aviation 一类的网址将有助于您决定是否点击该链接;而像 http://www.example.com/index.php?id_sezione=360&sid=3a5ebc944f41daa6f849f730f1 一类的网址对用户的吸引力则会大大降低。
不妨考虑在网址中使用标点符号。对于我们而言,http://www.example.com/green-dress.html 这一网址比 http://www.example.com/greendress.html 有用得多。我们建议您在网址中使用连字符 (-),而不要使用下划线 (_)。
过于复杂的网址,特别是那些包含多个参数的网址,可能会给抓取工具带来麻烦,因为它们可能会产生大量不必要的网址,全都指向您网站上相同或相似的内容。Googlebot 可能会因此而消耗大量不必要的带宽,也可能无法将您网站上的所有内容完整编入索引。
URL网址链接问题的常见原因 #
导致网址过多可能有多种原因,其中包括:
累加过滤一组项目 #
很多网站对同一组项目或搜索结果提供不同的视图,通常让用户能够使用定义好的条件对其进行过滤(例如:显示海景酒店)。当过滤条件可以按累加模式组合时(例如:海景酒店,同时带有健身中心),网站中网址(数据视图)的数量就会急剧增加。因为 Googlebot 只需查看少量能用来访问各个酒店网页的列表即可,所以没有必要创建大量只有细微差异的酒店列表。例如:
“特价”酒店:
http://www.example.com/hotel-search-results.jsp?Ne=292&N=461
“特价”海景酒店:
http://www.example.com/hotel-search-results.jsp?Ne=292&N=461+4294967240
带健身中心的“特价”海景酒店:
http://www.example.com/hotel-search-results.jsp?Ne=292&N=461+4294967240+4294967270
动态生成文档 #
由于计数器、时间戳或广告影响,这可能会产生小幅的变化。
网址中有问题的参数 #
例如,会话 ID 可以产生大量的重复项目和更多的网址。
排序参数 #
某些大型购物网站会提供多种方式来排序相同的商品,因而造成网址数量大增。例如:
http://www.example.com/results?search_type=search_videos&search_query=tpb&search_sort=relevance&search_category=25
网址中不相关的参数,例如引荐参数 #
例如:
http://www.example.com/search/noheaders?click=6EE2BF1AF6A3D705D5561B7C3564D9C2&clickPage=OPD+Product+Page&cat=79
http://www.example.com/discuss/showthread.php?referrerid=249406&threadid=535913
http://www.example.com/products/products.asp?N=200063&Ne=500955&ref=foo%2Cbar&Cn=Accessories.
日历问题 #
动态生成的日历可能会生成指向未来及过去日期的链接,而这些日期没有开始或结束期限。例如:
http://www.example.com/calendar.php?d=13&m=8&y=2011
http://www.example.com/calendar/cgi?2008&month=jan
损坏的相对链接。 #
损坏的相对链接往往会导致无限循环。这个问题通常是由路径元素重复造成的。例如:
http://www.example.com/index.shtml/discuss/category/school/061121/html/interview/category/health/070223/html/category/business/070302/html/category/community/070413/html/FAQ.htm
解决URL网址链接问题的步骤 #
若要避免网址结构可能导致的问题,建议您采取以下措施:
1.您可考虑使用robots.txt文件阻止Googlebot访问有问题的网址。一般情况下您应考虑阻止动态网址,例如会生成搜索结果或无限循环(如日历)的网址。在robots.txt文件中使用正则表达式可以轻松拦截数量较大的网址。
2.尽可能避免在网址中使用会话 ID,而应考虑使用 Cookie。请参阅我们的网站站长指南,了解详情。
3.删去不必要的参数,尽可能缩短网址。
4.如果您的网站具有未设置期限的日历,请为指向动态创建的未来日历页的链接添加 nofollow 属性。
检查网站是否有损坏的相对链接。