How to block dynamic urls by robots txt in blogger



URL structure in blogger is restricted feature. It can not be either modified or deleted, specially when it relates to post & page url. Post url has fixed date inclusion in every new article you write. Similarly Pages has pre-fixed /P/ inclusion in every new page you create in blog spot as shown in below examples.

Example:
Post permalink
http://www.freshknowledgecenter.com/2016/02/how-to-remember-lengthy-texts-in-short.html

Page permalink
http://www.freshknowledgecenter.com/p/contact-us.html

According to google's policy these permalink cant be changed by users, Unlike word-press it is default and prefixed.

That is why it becomes biggest issue in terms of SEO. However Unique article with date inclusion can generates good traffic but as far as i know after some time those websites articles without date will win. No matter how good you write or represent.

Read more: Optimize Blogger SEO by Choosing right meta description
Read more: Basic Blogger SEO Tricks And Tips Forever | Best SEO Help For Your Blog/Website

Dynamic and static URL

In simple words auto generated link structure which includes special characters like "?", "#" and "=" called as dynamic url and rest of static.

Example:
Dynamic link
https://www.blogger.com/blogger.g?blogID=1763716379433603602#editor/target=

Static link
http://www.freshknowledgecenter.com/2015/09/how-to-give-h3-tage-for-home-page-title.html

According to google blog post now they recommend that do not rewrite dynamic urls that looks ugly on your blog.

However it is not mandatory but refers to those websites which has selling, trading and other facility services like Online games, tools, tips based on use queries.

Google has now smarter solution for both static ans dynamic links.

Dynamic URL in blogger

As mentioned above there are certain limitations in blogger specially with permalink. You can only modify the post link once while you are writing it first time.


Editable post Permalink in Blogger before published
Editable post Permalink in Blogger before published 


Fixed Link after post published
Fixed Link after post published

Whenever user comments on your blog, or spamming with unusual queries generates Dynamic-links. It will not harm your website but will affects your reputation. Because it will throw 404 error when user click on it.

Once Dynamic url generated it can not be deleted or modified later. So that to improve website reputation and completely block that unusual links we need to configure ROBOTS TXT file.

ROBOTS configuration gives us total control over web-crawlers.

Block Every ugly Urls with ROBOTS TXT

Disallow function blocks every links to be fetched by web crawlers, So by implementing certain rules we can also use it on blogger.

For example if you need some page to be hidden from search engines, following rule will resist it to be fetch by web-crawlers
Disallow: /search
Disallow: /*?*
Disallow: /*=*

Here Disallow /Search will block all links which includes Search, Similarly second and third line will obstruct all link which contains "?" and ''=" characters.


Thus no dynamic urls will ever fetch by search engines and will not occur in any search results. Although wrong configuration will affect your entire website, may cause traffic lost or may ignored by Search engines, so be careful while working with ROBOTS configurations.

You can check and validate it in Google webmaster tools.
Go to Crawl > Robots txt tester

Test your Sitemap and it will gives you over all idea if everything is fine or not.

Result
After successful implementation, you can see the effect on your google webmaster tool's crawl errors section. All the 404 Errors will dramatically decrees. Thus it will also impact on your overall Search engine optimization score and website reputation.


87 comments:
  1. Good information, however this code will block every url which contain = and ? So also mobile sites. We need exclusion for mobile site so that it can not be block by mobile bots!

    ReplyDelete
  2. Thanks for the information shared, quite helpful for us Grocery at Cheap Price Online

    ReplyDelete
    Replies
    1. Hi, Great.. Tutorial is just awesome..It is really helpful for a newbie like me.. I am a regular follower of your blog. Really very informative post you shared here. Kindly keep blogging. If anyone wants to become a .Net developer learn from Dot Net Training in Chennai. or learn thru ASP.NET Essential Training Online . Nowadays Dot Net has tons of job opportunities on various vertical industry.
      or Javascript Training in Chennai. Nowadays JavaScript has tons of job opportunities on various vertical industry.

      Delete
    2. I hope you continue to have such quality articles to share with everyone! I believe a lot of people will be like to read this article! LyricSoUp

      Delete
  3. I just see the post i am so happy the post of information's.So I have really enjoyed and reading your blogs for these posts.Any way I’ll be subscribing to your feed and I hope you post again soon.

    ccna training in chennai guindy

    ReplyDelete
    Replies
    1. I have read your blog its very attractive and impressive. I like it your blog.

      Email Marketing India Email Marketing Services India

      Delete
  4. Superb i really enjoyed very much with this article here. Really its a amazing article i had ever read. I hope it will help a lot for all. Thank you so much for this amazing posts and please keep update like this excellent article Voice Actor

    ReplyDelete
  5. iOS Training in Chennai
    Android Training in Chennai
    php Training in Chennai

    I wondered upon your blog and wanted to say that I have really enjoyed reading your blog posts. Any way I’ll be subscribing to your feed and I hope you post again soon.

    ReplyDelete
  6. Thank you for sharing such a nice and interesting blog with us. Hope it might be much useful for us. keep on updating...!!
    seo company in india
    digital marketing company in india

    ReplyDelete

  7. I wondered upon your blog and wanted to say that I have really enjoyed reading your blog posts. Any way I’ll be subscribing to your feed and I hope you post again soon.

    Android App Development Company

    ReplyDelete
  8. great and nice blog thanks sharing..I just want to say that all the information you have given here is awesome...Thank you very much for this one.
    web design Company
    web development Company
    web design Company in chennai
    web development Company in chennai
    web design Company in India
    web development Company in India

    ReplyDelete
  9. I wondered upon your blog and wanted to say that I have really enjoyed reading your blog posts. Any way I’ll be subscribing to your feed and I hope you post again soon.
    iOS App Development Company
    iOS App Development Company

    ReplyDelete
  10. I wondered upon your blog and wanted to say that I have really enjoyed reading your blog posts. Any way I’ll be subscribing to your feed and I hope you post again soon.

    Fitness SMS
    Salon SMS
    Investor Relation SMS

    ReplyDelete
  11. it is really amazing...thanks for sharing....provide more useful information...
    Mobile app development company

    ReplyDelete
  12. great and nice blog thanks sharing..I just want to say that all the information you have given here is awesome...Thank you very much for this one.
    web design Company
    web development Company
    web design Company in chennai
    web development Company in chennai
    web design Company in India
    web development Company in India

    ReplyDelete
  13. This comment has been removed by the author.

    ReplyDelete
  14. This comment has been removed by the author.

    ReplyDelete
  15. Keep sharing post like this. it increases the knowledge of reader. Looking forward to seeing more from your side.

    http://www.damiestechnologies.com/web-graphic-design.html

    ReplyDelete
  16. Thanks for providing such a useful information. TrainersDesk providing best sap erp module online training.

    ReplyDelete
  17. You have provided an nice article, Thank you very much for this one. And i hope this will be useful for many people.. and i am waiting for your next post keep on updating these kinds of knowledgeable things...

    PSD to Wordpress
    wordpress website development

    ReplyDelete
  18. Thanks a lot very much for the high quality and results-oriented help. I won’t think twice to endorse your blog post to anybody who wants and needs support about this area.
    java training in bangalore

    ReplyDelete
  19. Now I can block! Sure your next post will be as great as this. And if you want to find best premium wordpress templates for any kind of business go here https://wordpresstemplates.ch/

    ReplyDelete
  20. Thank you for sharing such a nice and interesting blog with us. Hope it might be much useful for us. keep on updating.
    Selenium Training in Chennai
    Oracle Training in Chennai

    ReplyDelete
  21. Wonderful bloggers like yourself who would positively reply encouraged me to be more open and engaging in commenting. So know it's helpful..
    ME/M.Tech Project Center in Chennai | ME/M.Tech Project Center in Velachery

    ReplyDelete
  22. Thanks for splitting your comprehension with us. It’s really useful to me & I hope it helps the people who in need of this vital information.
    ME/M.Tech Project Center in Chennai | ME/M.Tech Project Center in Velachery

    ReplyDelete
  23. Once you have added the disallow section, you can test this out in Google Search Console. Head over to the robots.txt Tester tool and put in a sample dynamic URL to see if this has been blocked by Google. If you see the blocked message, you are good! If you use this tool and it says allowed, you might just have to wait for the change to go through, but if you put it into your robots file, you will be all set!
    Rochester website design

    ReplyDelete
  24. Good Post! Thank you so much for sharing this pretty post, it was so good to read and useful to improve my knowledge as updated one, keep blogging.
    Selenium Training in Bangalore | Selenium Training in Bangalore | Selenium Training in Bangalore | Selenium Training in Bangalore

    ReplyDelete
  25. I simply wanted to write down a quick word to say thanks to you for those wonderful tips and hints you are showing on this site.

    Azure Training
    Azure Training in Chennai

    ReplyDelete
  26. Hmm, it seems like your site ate my first comment (it was extremely long) so I guess I’ll just sum it up what I had written and say, I’m thoroughly enjoying your blog. I as well as an aspiring blog writer, but I’m still new to the whole thing. Do you have any recommendations for newbie blog writers? I’d appreciate it.
    Advanced AWS Training in Bangalore | Best Amazon Web Services Training Institute in Bangalore
    Advanced AWS Training Institute in Pune | Best Amazon Web Services Training Institute in Pune
    Advanced AWS Online Training Institute in india | Best Online AWS Certification Course in india
    AWS training in bangalore | Best aws training in bangalore

    ReplyDelete
  27. Great Article… I love to read your articles because your writing style is too good, its is very very helpful for all of us and I never get bored while reading your article because, they are becomes a more and more interesting from the starting lines until the end. 
    microsoft azure training in bangalore
    rpa training in bangalore
    best rpa training in bangalore
    rpa online training

    ReplyDelete
  28. Very nice post here and thanks for it .I always like and such a super contents of these post.Excellent and very cool idea and great content of different kinds of the valuable information's.
    Best Devops online Training
    Online DevOps Certification Course - Gangboard

    ReplyDelete
  29. It would have been the happiest moment for you,I mean if we have been waiting for something to happen and when it happens we forgot all hardwork and wait for getting that happened.
    Python Online certification training
    python Training institute in Chennai
    Python training institute in Bangalore

    ReplyDelete
  30. wardrobe furniture shop

    https://krishnafurniture.com/bedroom-storage/wardrobe

    ReplyDelete
  31. executive presence coach trainer

    https://auraaimage.com/executive-presence

    ReplyDelete
  32. I like this blog. some of the points are good and appreciative.
    Thanks for sharing
    https://www.eoantechnologies.com/digital-marketing-company-gurgaon/

    ReplyDelete
  33. Thanks for sharing such an informative post with us. I hope you will share more such post. Please keep sharing.
    Apple Service center in Ameerpet, Hyderabad
    Best Laptop Service center in Ameerpet, Hyderabad

    ReplyDelete
  34. Your info is really amazing with impressive content..Excellent blog with informative concept. Really I feel happy to see this useful blog, Thanks for sharing such a nice blog..
    If you are looking for any python Related information please visit our website Python classes in pune page!

    ReplyDelete
  35. I am glad that I saw this post. It is informative blog for us and we need this type of blog thanks for share this blog, Keep posting such instructional blogs and I am looking forward for your future posts.
    Cyber Security Projects for Final Year

    JavaScript Training in Chennai

    Project Centers in Chennai

    JavaScript Training in Chennai

    ReplyDelete
  36. Positive site, where did u come up with the information on this posting?I have read a few of the articles on your website now, and I really like your style. Thanks a million and please keep up the effective work. SEO expert Singapore at www.dynamicmarketing.sg/seo-consultant-singapore

    ReplyDelete
  37. https://androidrub.com is a store specializing in Apps Mod & Games Mod for mobile phones with the best quality today.

    ReplyDelete
  38. Resources like the one you mentioned here will be very useful to me ! I will post a link to this page on my blog. I am sure my visitors will find that very useful
    AWS training in chennai | AWS training in annanagar | AWS training in omr | AWS training in porur | AWS training in tambaram | AWS training in velachery

    ReplyDelete
  39. Hello,

    Thanks a lot for sharing a wonderful post with us. Livebid is the No. #1 sports betting and casino betting website for bettors. Also, offer the sports betting App sign up cashback bonus.

    Livebid is the top-rated sports betting website in India. You can get all of the sports betting help and clear your doubt about the match without any hesitation.

    Keep it works and share your opinion with us.


    Thanks again!
    Livebid.

    ReplyDelete
  40. Very nice post here thanks to you for this. I evermore like your blog and such a useful content of these post. Keep doing...

    ReplyDelete
  41. Гадание онлайн три карты - попытка спрогнозировать будущие действия постоянно зачаровывал человечество. Каждый рассчитывает знать собственное грядущее и представляет определенные типы ворожбы наиболее эффективными. Ворожба дает угадать, что вас ожидает в предстоящее время.

    ReplyDelete
  42. Сосредоточьтесь не только на керамогранитной плитке чужестранного выпуска, но и на отечественные разновидности. Наилучший выбор настенного покрытия может прикрасить любую перегородку или ванную комнату. Кафельная превосходно подходит к каждому интерьеру. Выбирая такой продукт как например mainzu fancy artic необходимо просмотреть максимальное количество вариантов.

    ReplyDelete
  43. Исключительно на этой платформе casino x com играть посетитель может нырнуть в удивительные путешествия. Красочное меню и стремительный поиск – это уверенный вариант найти интересную азартную игру. Колесо фортуны – самый трендовый игральный автомат в числе азартных игр Казино Икс ком.

    ReplyDelete
  44. Важно помнить, что x казино играть онлайн никогда не спрашивает перевод за проведение процесса регистрации игроков. Техническая служба в любой момент придет на помощь и мгновенно разрулит очень тяжелую проблему. Увидеть истинность платформы реально на официальной странице casino-x-oficialniy-sayt.com.

    ReplyDelete
  45. Кибер Спорт – это современный этап становления профессиональных соревнований. Игровой процесс нынешнего поколения с огромными призами. Люди соперничают в логическом мышлении, организуют полноценные группы и выигрывают в чемпионатах. Просмотрев промокод на мистер бит казино вы окунетесь в невероятный мир игр по сети.

    ReplyDelete
  46. Кафельная отлично подходит к каждому интерьеру. Лучший выбор плитки способен прикрасить любую перегородку или ванную комнату. Сфокусируйтесь не только на напольной плитке зарубежного изготовления, но и на наши варианты. Отбирая недорогой товар как, например, axima фландрия стоит отобрать максимальное количество исполнений.

    ReplyDelete
  47. Ровная и гладкая поверхность очень хорошо моется. Выкладывают стенки и полы кафелем по большей части ввиду её практических свойств. Каждый клиент, покупая керамику в онлайн-магазине sotni.ru, получает реально первоклассный товар. Ради того чтобы купить плитку в магазине legendagres.ru http://waterlevel.ru/forum/user/56449/, достаточно просто посетить главную страницу сайта производителя.

    ReplyDelete
  48. Отечественные изготовители довольно давно наладили изготовление таких товаров, некоторые из которых не уступают зарубежным аналогам. Максимально дорогостоящей керамогранитной плиткой считается произведенная в Италии http://www.els74.com/home.php?mod=space&uid=49423. Цена одного квадрата плитки зависит от его технических характеристик, и от места изготовления.

    ReplyDelete
  49. Нестандартный список мероприятий, ориентированных на прогнозирование судьбы, называется ворожба. Гадание на рунах на сейчас - это простейший метод поворожить с употреблением разнообразных атрибутов и методов. Потусторонние силы и всевозможные условия хиромантии деятелями науки не доказаны, впрочем многочисленные люди доверяют такому. Природа Таро покрыто завесой таинства, так как стопроцентно ни один человек не имеет понятия, каким образом они появились. Стародавние карты сопровождали род людской в процессе зафиксированной истории. Имеется информация, что карты Таро впервые возникли аж в колыбели зарождения человечества - Египте.

    ReplyDelete
  50. Врач-эндокринолог посоветовала россиянам «запивать» стресс. Источник https://rusevik.ru/news/655844

    ReplyDelete
  51. Оценена возможность передачи птичьего гриппа от человека к человеку. Источник https://newstes.ru/2021/02/24/ocenena-vozmozhnost-peredachi-ptichego-grippa-ot-cheloveka-k-cheloveku.html

    ReplyDelete
  52. Принадлежности для кухни стоит символически разбить на несколько типов – как декорации и практические, для будничного применения. На странице интернет-магазина «МАКСИДЕН» реально выбрать ручной отпариватель для одежды купить по самой выгодной цене. Самый элементарный случай – на каждой кухне конечно имеется чайник.

    ReplyDelete
  53. Морепродукты являются ценным источником отличного белка и различных микроэлементов. Ракообразные считаются наилучшим источником железа для человеческого организма. Непосредственно в интернет-магазине купить осетровых рыб вы сможете найти продукт высокого качества! Дары моря преимущественно необходимы маленьким детям и спортсменам.

    ReplyDelete
  54. Подготовить заявления на вступление и сдачу главных тестов, слушателю необходимо позвонить в компанию «Инфо Стади». Абитуриенту достаточно сдать языковые экзамены для попадания в институт Канады. Показав максимальный уровень мастерства кандидат запросто поступит в высшие учебные заведения страны. https://newspotok.ru/2021/04/23/chastnye-shkoly-v-kanade.html значится основным вариантом благополучного прохождения экзаменов.

    ReplyDelete
  55. Конечно заварочный чайник гунфу купить потребуется в любом хозяйстве, в особенности, при условии, что вы ожидаете гостей. Кухонные товары для всех желающих выставлены по оптимально привлекательным ценам онлайн-магазина Яндекс. На ресурсе онлайн-магазина Яндекс любой пользователь сможет выбрать нужные столовые вещи и спорта.

    ReplyDelete
  56. Изящная пленка из полимерных материалов фактически не поглощает конденсат, в результате чего её нередко используют в местах с повышенным уровнем влажности, например, кухня. Влагонепроницаемую фанеру применяются для декорированной покрытия мебели, при внутренних отделочных работ, для облицовки кабин грузовиков https://xn--80aao5aqu.xn--90ais/. Чаще всего для изготовления фанеры используют два видов материала разных видов деревянной породы, но попадается и только березовая фанера. Покрытые пленкой экземпляры обладают высокой износостойкостью, чем их подобия без ламинированного покрытия.

    ReplyDelete
  57. Cheap Busty Call Girls in Surat is supposed all over the world for its beautiful approach and attractive style.Call Girls Booking in Surat Being with the lively girls in the city is approximately that will take away all your Model Escorts in Agra pressure and exhaustion. No matter,Escorts in Faridabad what kind of dreamy vision you bear in your emotion or what is successful in your cerebral world of eroticism,Escorts in Faridabad you will love to be with those fabulous Foreigner Escorts Agency in Gurgaon in the city who are complete to serve you in the finest way.

    ReplyDelete
  58. Множество посетителей скажут, что бумажные полотенца брать гораздо выгодно, чем электронные сушки, для примера, https://smartdryer.ru/category/dispensery-dlya-bumagi/. Как правило, воздух под напором сможет высушить влажные руки посетителя за 10-15 минут. Требуется понимать важные достоинства, которые увидят посетители и владельцы учреждений общепита, используя автоматическую сушку.

    ReplyDelete
  59. В частности, http://baktybai-zholbarysuly.mektebi.kz/index.php?subaction=userinfo&user=efybom показывает детальнейшие алгоритмы, с целью не стать целью киберпреступников в Глобальной сети. Лишь только высокий уровень представления обеспечит пользователям сохранность персональной информации. Кибернетическая безопасность уже является полноценным типом для защиты комфортабельной деятельности в сети.

    ReplyDelete
  60. С изменением интернет-технологий равнозначно оттачивают незаконные навыки преступники, каковые орудуют в Глобальной паутине http://baimeizhuang.com/luntan/home.php?mod=space&uid=74249. Доступ к интернету допускает возможность охватить громадное количество информации гарантированно на халяву. Заходя в интернет необходимо наперед озадачиться о защите сетевого девайса и размещенной на нём информации.

    ReplyDelete
  61. На сайте гидра магазин официальный сайт непременно представлена работа даже для начинающих фрилансеров. Биржи для копирайтеров – это действительно доступный всякому исполнителю метод подзаработать в мировой сети. На этих площадках веб-мастера предоставляют детальные тесты, выполняя которые работник заберет монеты на индивидуальный ID аккаунта. Благодаря фрилансингу возможно получить неплохую прибыть.

    ReplyDelete
  62. Максимально удобный вариант получить альткоин ETH – это использовать GPU для обработки обоснования процесса перевода. Криптомонета Эфириум работает на собственном криптографическом шифровании. Переводы этериума элементарно просмотреть на любом статистическом сайте http://seafishzone.com/home.php?mod=space&uid=686777 в мировой сети.

    ReplyDelete
  63. Переводы эфириума элементарно просмотреть на любом аналитическом портале https://www.kenpoly.edu.ng/index.php/forum/user/116424-uzuvomyz в мировой сети. Наиболее легкий алгоритм заработать монеты Эфириум – это использовать GPU для расчетов подтверждения транзакции перевода. Монета Ethereum действует на собственном криптографическом шифровании.

    ReplyDelete
  64. Людям нет необходимости выстаивать длинные очереди в жарких коридорах банка, личное появление заемщика излишне. Нужно всего лишь выбрать подходящего кредитора на странице РОСЗйАМЫ хоум кредит по номеру и дате. Сохраните сканкопии документов и оформите заданную форму с указанием нужной суммы и определенного периода возврата кредита.

    ReplyDelete
  65. Воспользуйтесь сервисом виртуального сайта Hydra, либо зеркалом сайта, если центральная страница перегружена. Отправляйте необходимую сумму в любом направлении без ненужных доплат, вместе с тем не публикуя паспортные данные. При помощи онлайн-магазина anderol hydra кто угодно может сформировать закрытую коммерческую операцию.

    ReplyDelete
  66. Проект Гидра дает абсолютно всем юзерам стопроцентную скрытность. Для скрытной покупки найдется громадное количество специальных платежных систем. Произвести любую транзакцию на сайте Гидра запросто в считанные минуты. Использовать маркетплейс гидра сайт – особенно элементарный способ оформить анонимную сделку в интернете.

    ReplyDelete
  67. Огромный набор товаров прямо-таки внушает. Виртуальный магазин HydraRU – это самый посещаемый торговый форум в рунете. В интернете найдется огромнейшее число порталов для проведения досуга. Лишь только на действующая ссылка на гидру вы получите способ попробовать необходимые вещи. Купить необходимую вещь по очень интересной стоимости вы сможете лишь только на виртуальной платформе ГидраРУ.

    ReplyDelete
  68. Имеется огромное число сайтов, которые позволяют перечислить деньги вполне скрытно http://zgsgw.org/home.php?mod=space&uid=199234. Удаленная работа, в частности, фрилансером, различные заказчикиОплатить закрытый платеж в интернет сети не так то просто, но в то же время, весьма возможно. немыслимое количество заказчиков имеют проблему анонимного перевода электронных счетов.

    ReplyDelete
  69. Для оплаты билетов возможно воспользоваться кредиткой, или же интернет кошелек Qivi. Заходя на портал компании «Автовокзалы Краснодара» и подобрав нужное направление https://krasnodar-avtovokzal.ru/krasnodar-alushta/ откройте определенный раздел оплаты билета. Оплатить билеты через компьютер действительно просто, процесс не сложнее чем закинуть деньги на счет смартфона.

    ReplyDelete