تمام فعالیت ها و اقدامات بهینه سازی که بر روی سایت انجام می دهیم باید توسط ربات های گوگل ایندکس شود تا اثر گذاری آن بر رتبه بندی سایت مشخص شود و در نتایج در رتبه های بهتری قرار بگیرد. به همین دلیل باید گوگل را به نحوی هدایت کنیم که صفحات سایت ما به صورت صحیح و طبق برنامه ایی که برای سئو سایت داریم ایندکس شود.
این مقاله از مطالب آموزش سئو مجموعه وب وان است که امیدواریم مورد توجه شما قرار بگیرد.
فایل robots.txt چیست؟
ازموارد فنی( سئو تکنیکال) که برای بهینه کردن ایندکس صفحات سایت به کار میرود استفاده از فایل robots.txt است. Robots.txt یک فایل متنی است که برای هدایت ربات های موتور جستجو برای نحوه خزیدن و ایندکس صفحات وب سایت استفاده می شود. از آنجا که فایل robots.txt ربات های جستجو را در مورد نحوه خزیدن صفحات مختلف وب سایت شما راهنمایی می کند، دانستن نحوه استفاده و تنظیم این فایل بسیار مهم است. برای جلوگیری از ایندکس شدن صفحات می توان از روش های دیگر مانند تگ noindex استفاده کرد اما زمانی که بخواهید یک دسته از صفحات ایندکس نشوند، نمی توانید برای هر کدام از صفحات به صورت جداگانه از تگ noindex استفاده کنید. در اینجا robots.txt به کمک شما می آید.
اگر یک فایل robots.txt نادرست تنظیم شده باشد ، می تواند باعث اشتباه در ایندکس شدن صفخات سایت شود. بنابراین، هر بار که یک کمپین SEO جدید را شروع می کنید، فایل robots.txt خود را با ابزار نوشتاری روبات های Google بررسی کنید.
مطالب مرتبط: سئو سایت فروشگاهی
از ایندکس شدن چه صفحاتی باید جلوگیری شود؟
با استفاده از فایل robots.txt میتوان از ایندکس شدن بسیاری از صفحات مانند دسته بندی ها، تگ ها و صفحات خاص جلوگیری کرد. برخی از صفحاتی که باید توسط robots.txt از ایندکس شدن جلوگیری شوند، موارد زیر است.
- صفحاتی که محتوای تکراری دارند ( duplicate content)
- تگ ها و برچسب هایی که باعث ایجاد محتوای تکراری و یا اضافه در سایت می شوند
- فیلتر بندی صفحات محصول که شامل فیلتر های قیمت، رنگ و … می شوند
- صفحاتی که با سرچ کردن در خود سایت ایجاد می شوند ( در صورتی که صفحات اصلی و مهم شما توسط کاربران در سایت سرچ نشود)
- تمامی صفحات ادمین و پنل سایت
- صفحه پروفایل کاربران سایت
- صفحات چت
- برخی از فایل های قالب که نیازی به دیده شدن توسط گوگل ندارند
در مثال های بالال به ربات گوگل پیشنهاد می دهیم که از خزیدن و ایندکس کردن تمام صفحات مربوط به حساب های کاربری، سبد خرید و صفحات پویا که کاربران در نوار جستجو ایجاد می کنند و یا ایجاد مرتب سازی بر اساس قیمت و غیره، جلوگیری کند.
فایل robots.txt به طور عمومی در وب موجود است. برای دسترسی به پرونده robots.txt، به سادگی تایپ کنید:
www.website-example.com/robots.txt
این در دسترس بودن بدان معنی است که شما نمی توانید هیچ داده ای را درون آن ایمن یا مخفی کنید. علاوه بر این ، ربات های بد و خزنده های مخرب می توانند از یک فایل robots.txt استفاده کنند و از آن به عنوان یک نقشه تفصیلی برای حرکت در سایت شما استفاده کنند.
همچنین به خاطر داشته باشید که دستورات robots.txt فقط دستورالعمل هستند. این بدان معنی است که رباتهای جستجو می توانند سایت شما را خزش کرده و ایندکس کنند، حتی اگر به آنها دستور دهید. خبر خوب این است که اکثر موتورهای جستجو (مانند گوگل، بینگ، یاهو و یاندکس) به دستورالعمل های robots.txt احترام می گذارند.
مطالب مرتبط: اهمیت سرعت سایت و راه های افزایش آن
نحوه استفاده از robots.txt
فایل های Robots.txt بسیار انعطاف پذیر هستند و از بسیاری جهات قابل استفاده هستند. فایده اصلی آنها این است که متخصصان سئو را قادر می سازند چندین صفحه را به طور همزمان و بدون نیاز به دسترسی به کدهای هر صفحه، از ایندکس شدن جلوگیری کنند. استفاده از robots.txt برای جلوگیری از ایندکس شدن کافیست یک فایل متنی درست کنید و از دستور زیر استفاده کنید.
در هر فایل robots.txt از سه دستور اصلی استفاده می شود که موارد زیر هستند:
User-agent
در ابتدای این فایل و قبل از نوشتن هر دستوری باید عبارت User-agent نوشته شوند. این عبارت نشان می دهد که شما کدام یک از ربات های خزنده در وب را هدف قرار گرفته ایید تا به آن دستور بدهید. پس از نوشتن عبارت User-agent و قرا دادن دو نقطه در جلوی آن، نام رباتی که میخواهید به آن دستور بدهید را می نویسید به عنوان مثال زمانی که بخواهیم به ربات گوگل دستور بدهیم از عبارت User-agent: googlebot استفاده می کنیم.
نکته مهم: اگر بخواهیم تمامی ربات های خزنده وب را هدف قرار دهید کافی است یک * در جلوی عبارت قرار دهیم. به این صورت: User-agent: *
مطالب مرتبط: میزبانی وب و تاثیر آن بر سئو
دستور Allow و Disallow
پس از مشخص کردن ربات هدف باید دستورات لازم را به آنها بدهید. در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند. برای اجازه دادن به خزش توسط ربات مورد نظر از دستورAllow و برای جلوگیری از خزش از دستور Disallow استفاده می شود. پس از نوشتن یکی از این دو عبارت و قرار دادن دو نقطه : در جلوی آن باید صفحه و یا دسته صفحاتی که قصد اعمال کردن دستور به آنها را دارید وارد می کنید. برای وارد کردن این بخش نیازی نیست کل آدرس url صفحه را تایپ کنید. فقط از قسمت / به بعد وارد کنید و دامنه را وارد نکنید. به عنوان اگر صفحات ادمین سایت شما همگی با پارامتر admin درurl مشخص شده اند یعنی به صورت www. example.com/admin هستند برای جلوگیری از ایندکس شده آن از دستور زیر استفاده می کنیم:
User-agent: *
Disallow: /admin/
و برای اجازه دادن ایندکس شدن صفخات کافیست طبق همین دستور از عبارت Allow استفاده کنید.
صفحاتی که در این فایل از ایندکس ان ها جلوگیری می کنید را در سایت مپ قرار ندهید.
تمامی موارد و دسته صفحات مورد نیاز را طبق دستور های گفته شده در یک فایل متنی با نام robots.txt ذخیره کنید و در سایت آپلود کنید.
مطالب مرتبط: آشنایی با اسکیما مارک آپ
قرار دادن robots.txt در سرچ کنسول گوگل
پس از تکمیل فایل و قرار دادن در سایت باید از سرچ کنسول گوگل نیز تغییرات را اعمال کنید. برای این کار باید بخش robots.txt tester را در سرچ کنسول سایت خود که در سرچ کنسول نسخه قدیمی قرار دارد پیدا کنید. اگر نتوانستید در سرچ کنسول به این بخش دسترسی پییدا کنید با سرچ کردن عنوان همین ابزار در گوگل می توانید وارد این بخش شوبد. در یک بخش به شما اجازه نوشتن متن داده می شود تمام متن فایل robots.txt را قرار دهید تا گوگل به راحتی دستورات شما را ببیند. در بخش تست نیز میتوانید url های سایت را تست کنید تا ببینید کدام url ها بر روی ربات های گوگل بسته شده اند.
فایل robots.txt از موارد حساس برای سئو سایت شماست بنابرین برای ایجاد دستورات در آن دقت کنید. اگر به اشتباه صفحات مهم سایت خود را ببندید ممکن است کل سئوی شما دچار مشکل شود و رتبه های خود را از دست بدهید.
موضوع :سئو، سئو تکنیکال
