Një skedar robots.txt i ruajtur në rrënjët e faqes suaj të internetit do t'i tregojë robotëve të internetit si merimangat e motorëve të kërkimit se cilat janë dosjet dhe dosjet që u lejohet të zvarriten. Është e lehtë të përdorësh një skedar robots.txt, por ka disa gjëra që duhet të mbani mend:
- Hathat e uebit të zinj të zinj do të injorojnë skedarin tuaj robots.txt. Llojet më të zakonshme janë bots malware dhe robots në kërkim për adresat e-mail për të korrjes.
- Disa programues të rinj do të shkruajnë robotë që injorojnë skedarin robots.txt. Kjo zakonisht bëhet gabimisht.
- Çdokush mund të shohë skedarin tuaj robots.txt. Ata janë quajtur gjithmonë robots.txt dhe gjithmonë ruhen në rrënjët e faqes.
- Së fundi, nëse dikush lidhet me një skedar ose direktori që është përjashtuar nga skedari juaj robots.txt nga një faqe që nuk përjashtohet nga skedari i tyre robots.txt, motorët e kërkimit mund ta gjejnë gjithsesi.
Mos përdorni skedarë robots.txt për të fshehur ndonjë gjë të rëndësishme. Në vend të kësaj, duhet të vendosni informacione të rëndësishme prapa fjalëkalimeve të sigurta ose ta lini në internet tërësisht.
Si të përdorni këto skedarë mostër
Kopjoni tekstin nga mostra që është më e afërt me atë që dëshironi të bëni dhe ngjiteni në skedarin tuaj robots.txt. Ndryshoni emrat e robotit, dosjes dhe emrave të skedarëve në përputhje me konfigurimin tuaj të preferuar.
Dy skedarë bazë Robots.txt
Përdoruesi: *
Disallow: /
Ky skedar thotë se çdo robot (User-agent: *) që hyn në të duhet të injorojë çdo faqe në faqe (Disallow: /).
Përdoruesi: *
lejoj:
Ky skedar thotë se çdo robot (User-agent: *) që hyn në të është lejuar të shikojë çdo faqe në faqe (Disallow:).
Ju gjithashtu mund ta bëni këtë duke lënë skedarin tuaj robots.txt bosh ose duke mos pasur një në faqen tuaj fare.
Mbroni direktora të veçanta nga robotët
Përdoruesi: *
Disallow: / cgi-bin /
Ndalo: / temp /
Ky skedar thotë se çdo robot (User-agent: *) që hyn në të duhet të injorojë direktoritë / cgi-bin / dhe / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Mbroni faqet specifike nga robotët
Përdoruesi: *
Mos lejoni: /jenns-stuff.htm
Disallow: /private.php
Ky skedar thotë se çdo robot (User-agent: *) që hyn në të duhet të injorojë skedarët /jenns-stuff.htm dhe /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Parandalimi i një robot të veçantë nga qasja në faqen tuaj
Përdoruesi-agjent: Lycos / xx
Disallow: /
Ky skedar thotë se Lycos bot (User-agent: Lycos / xx) nuk lejohet aksesi kudo në faqe (Disallow: /).
Lejo vetëm një qasje të veçantë në robot
Përdoruesi: *
Disallow: /
Agjenti i përdoruesit: Googlebot
lejoj:
Kjo skedë së pari e ndalon të gjithë robotët siç kemi bërë më lart, dhe në mënyrë eksplicite lejon që Googlebot (User-agent: Googlebot) të ketë qasje në gjithçka (Disallow:).
Kombinoje linjat e shumëfishta për të marrë saktësisht përjashtimet që dëshiron
Ndërsa është më mirë të përdorësh një linjë shumë-përfshirëse User-Agent, si User-agent: *, mund të jeni aq specifik sa të doni. Mos harroni se robotët e lexojnë skedarin në rregull. Pra, nëse linjat e para thonë se të gjithë robotët janë të bllokuar nga gjithçka, dhe pastaj më vonë në dosje thuhet se të gjithë robotëve u lejohet qasje në gjithçka, robotët do të kenë qasje në gjithçka.
Nëse nuk jeni i sigurt nëse keni shkruar skedarin tuaj robots.txt në mënyrë korrekte, mund të përdorni Google Search Tools për të kontrolluar skedarin tuaj robots.txt ose shkruani një të ri.