Si të parandaloni motorët e kërkimit të indeksojnë vetëm faqen kryesore të faqes

Për të parandaluar që motorët e kërkimit të indeksojnë vetëm faqen kryesore, duke lejuar indeksimin e të gjitha faqeve të tjera, mund të përdorni disa qasje, në varësi të karakteristikave të një siti të caktuar.

1. Përdorimi i skedarit robots.txt

Nëse faqja kryesore ka adresën e saj (zakonisht është index.php, index.html, index.htm, kryesore. html dhe kështu me radhë), dhe ndërsa përpiqeni të hapni një lidhje si w-e-b.site/ një faqe interneti ridrejtohet në faqen kryesore, për shembull, në w-e-b.site/index. htm, atëherë mund të përdorni skedarin robots.txt me diçka si përmbajtja e mëposhtme:


User-agent: *
Disallow: /index.php
Disallow: /index.html
Disallow: /index.htm
Disallow: /main.html

Në fakt, përdorimi i një emri të qartë për faqen kryesore është përjashtim dhe jo rregull. Pra, le të shohim opsionet e tjera.

Ju mund të përdorni qasjen e mëposhtme:

  1. Refuzo qasjen në të gjithë sajtin me direktivën “Mos lejo”.
  2. Më pas lejoni indeksimin e të gjithë sajtit duke përdorur direktivën “Lejo”, përveç faqes kryesore.

Shembull i skedarit robots.txt:


User-agent: *
Allow: ?p=
Disallow: /

Direktiva Lejo duhet të vijë gjithmonë përpara Mos lejo. Direktiva Lejo lejon të gjitha faqet me një URL si ?p= dhe direktiva Mos lejo çaktivizon të gjitha faqet. Si rezultat, është marrë rezultati i mëposhtëm: indeksimi i të gjithë faqes (përfshirë faqen kryesore) është i ndaluar, përveç faqeve me një adresë si ?p=.

Le të shohim rezultatin e kontrollit të dy URL-ve:

  • https://suay.ru/ (faqja kryesore) - indeksimi është i ndaluar
  • https://suay.ru/?p=790#6 (faqe artikulli) – lejohet indeksimi

Në pamjen e ekranit, numri 1 shënon përmbajtjen e skedarit robots.txt, numri 2 është URL-ja që kontrollohet dhe numri 3 është rezultati i kontrollit.

2. Përdorimi i meta etiketës së robotëve

Nëse faqja juaj është skedarë të veçantë, atëherë shtoni etiketën meta të robotëve në kodin HTML të skedarit të faqes kryesore:


<meta name="robots" content="noindex,nofollow>

3. Me .htaccess dhe mod_rewrite

Duke përdorur .htaccess dhe mod_rewrite, mund të bllokoni aksesin në një skedar specifik si më poshtë:


RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Google [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Yandex [NC]
RewriteRule (index.php)|(index.htm)|(index.html) - [F]

Ju lutemi vini re se kur përpiqeni të hapni një lidhje si https://w-e-b.site/ (d.m.th., pa specifikuar emrin e faqes kryesore), një skedar specifik ende kërkohet në serverin e uebit anë, për shembull, index.php, index.htm ose index. html. Prandaj, kjo metodë e bllokimit të aksesit (dhe, në përputhje me rrethanat, indeksimit) funksionon edhe nëse faqja kryesore e faqes tuaj hapet pa specifikuar një emër skedari specifik (index.php, index.html, index.htm, main.html, e kështu me radhë), siç ndodh zakonisht.