Ихэнх туршлагатай блогчид robots.txt гэж юу болохыг, яагаад танд энэ файл хэрэгтэйг мэддэг. Гэхдээ цөөн хэдэн зохиогчид WordPress дээр блог суулгасны дараа robots.txt файлыг нэн даруй үүсгэхийг яардаг.
Robots.txt бол таны сайтын root лавлах хуудсанд байршуулсан, мөлхөгчдийн зааврыг агуулсан текст файл юм. Үүний хэрэглээний гол зорилго нь сайтын хуудсууд болон хэсгүүдийг индексжүүлэхийг хориглох явдал юм. Гэхдээ robots.txt-ийг ашигласнаар та зөв домайн толин тусгалыг зааж өгч, сайтын зураг руу орох замыг зааж өгч болно.
Ихэнх орчин үеийн хайлтын системүүд алдартай CMS-ийг сайн сурч мэдсэн бөгөөд үүнд зориулагдаагүй контентыг индексжүүлэхийг хичээдэггүй. Жишээлбэл, robots.txt дээр шууд заагаагүй байсан ч гэсэн Google таны WordPress блогын админы хэсгийг индексжүүлэхгүй. Гэсэн хэдий ч зарим тохиолдолд шууд хоригийг ашиглах нь ашигтай хэвээр байх болно. Давхардсан агуулгыг хориглох талаар бид голчлон ярьж байна.
Зарим вэбмастерууд нь категори, шошгоны хуудсыг индексжүүлэхийг хориглодог тул агуулга нь үндсэн хуудасны агуулгыг хэсэгчлэн хуулбарладаг. Гэхдээ ихэнх нь нийтлэлийн агуулгыг бүрэн хуулбарладаг, хайлтын системд зориулагдаагүй trackback болон feed хуудсыг хориглоход хязгаарлагддаг. Ийм урьдчилан сэргийлэх арга хэмжээ нь сайтын үр дүнг "цэвэр" болгох төдийгүй, ялангуяа шинэ Google Panda алгоритмийг нэвтрүүлсний дараа боломжтой хайлтын шүүлтүүрээс аврах болно.
Robots.txt файлд зориулсан зөвлөмжийг энд оруулав (энэ нь бараг бүх WordPress блог дээр ажиллах болно):
Хэрэглэгч-Агент: * Зөвшөөрөхгүй: /wp-login.php Зөвшөөрөхгүй: /wp-register.php Зөвшөөрөхгүй: /xmlrpc.php Зөвшөөрөхгүй: / wp-admin Зөвшөөрөхгүй: / wp-багтана Зөвшөөрөхгүй: / wp-агуулга / залгаасууд Зөвшөөрөхгүй: / wp-content / cache Зөвшөөрөхгүй: / wp-content / themes Зөвшөөрөхгүй: / trackback / Зөвшөөрөхгүй: / feed / Зөвшөөрөхгүй: * / trackback / Зөвшөөрөхгүй: * / feed /
Robots.txt-д wp-admin ба wp-include гэсэн захиргааны хавтас индексжүүлэхэд бүрэн хаалттай байгааг анхаарна уу. Wp-content хавтас нь таны блог дээрх индексжүүлсэн бүх зургийг агуулсан байршуулах лавлахыг агуулдаг тул зөвхөн хэсэгчлэн хаалттай байдаг.
Таны хийх ёстой зүйл бол дээрх кодоос удирдамжийг хуулж (удирдамж бүрийг шинэ мөрөнд бичих ёстойг анхаарна уу), тэдгээрийг robots.txt нэртэй текст файлд хадгалаад сайтынхаа үндсэн лавлах хуудсанд байршуулахад л хангалттай.
Та Google Webmaster Tools болон Yandex Webmaster интерфэйсүүдээр дамжуулан robots.txt зөв ажиллаж байгаа эсэхийг үргэлж шалгаж болно.
