Дублирование в robots.txt в WordPress
30 мая 2014 в 2:16 в категории Плагины и модули 2 комментарияДвижек WordPress — очень популярная платформа для разработки сайтов. Но не всегда его функционала хватает для реализации того или иного проекта. И на помощь в таком случае приходит Magic Fields (Magic Fields 2, что не является продолжением Magic FIelds), который позволяет добавлять дополнительные поля вашим записям и выводить их в любом месте, сортировать записи, искать записи по значениям дополнительных полей, создавать новые типы записей и многое другое!
Но, как оказалось, в работе данного плагина не все так гладко. Не знаю в силу каких обстоятельств, но именно Magic Fields 2 добавляет дубликат контента в файл robots.txt который является достаточно важным пунктом в работе с поисковыми системами и дальнейшим продвижением сайта.
Что ж не так в файле? Если открыть robots.txt то можно увидеть приблизительно следующее:
Sitemap: http://nikita-sp.com.ua/sitemap.xml User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: */xmlrpc.php Disallow: */wp-*.php Disallow: */trackback/ Disallow: *?wptheme= Disallow: *?comments= Disallow: *?replytocom Disallow: */comment-page- Disallow: *?s= Disallow: */wp-content/ Allow: */wp-content/uploads/ Sitemap: http://nikita-sp.com.ua/sitemap.xml
Но что делает Magic Fields? Он создает дубликат условий, который создает конфликт с поисковыми системами (проверено в Yandex Webmaster), и файл robots.txt выглядит так:
Sitemap: http://nikita-sp.com.ua/sitemap.xml User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: */xmlrpc.php Disallow: */wp-*.php Disallow: */trackback/ Disallow: *?wptheme= Disallow: *?comments= Disallow: *?replytocom Disallow: */comment-page- Disallow: *?s= Disallow: */wp-content/ Allow: */wp-content/uploads/ Sitemap: http://nikita-sp.com.ua/sitemap.xml Sitemap: http://nikita-sp.com.ua/sitemap.xml User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: */xmlrpc.php Disallow: */wp-*.php Disallow: */trackback/ Disallow: *?wptheme= Disallow: *?comments= Disallow: *?replytocom Disallow: */comment-page- Disallow: *?s= Disallow: */wp-content/ Allow: */wp-content/uploads/ Sitemap: http://nikita-sp.com.ua/sitemap.xml
И сайт конфликтует с поисковой системой. А мы ведь этого не хотим? Я избавился от такой напасти следующим «кустарным» образом, т.к. на скорую руку, потому что поджимало время, никакого другого решения я не нашел: просто закомментируйте строчку (~316):
// Process feeds and trackbacks even if not using themes. if ( is_robots() ) : //do_action('do_robots'); return; elseif ( is_feed() ) : do_feed(); return; elseif ( is_trackback() ) : include( ABSPATH . 'wp-trackback.php' ); return; endif;
в файле: your-home-folder/www/wp-content/plugins/magic-fields-2/main.php
И ваш файл robots.txt будет без ошибок обрабатываться поисковыми системами.
На этом все! Удачного кодинга и продвижения ваших ресурсов!
2 комментария
Лови еще немного рекомендаций — http://my.jetscreenshot.com/17223/20150103-9tmu-85kb.jpg
Я уже привел его в нормальный вид давно, но за скрин спасибо, может кому пригодится еще.