گاهی نیاز است با وجود اینکه در زمینه سئو همیشه یاد گرفته‌ایم که صفحات بیشتری را ایندکس کنیم، از این عمل جلوگیری نماییم. وقتی بخواهیم وب سایت را به صورت مؤثر به کاربران بیشتری معرفی نموده و ترافیک را بالا ببریم، از همه امکانات استفاده می‌کنیم تا صفحات سایت، هر چه سریع‌تر ایندکس شوند. ربات‌های موتور جستجو یا همان Crawler ها در تمام صفحات وب سایت‌ها بر روی اینترنت، می‌خزند و با درک محتوای هر صفحه آن را بر اساس کلمات کلیدی مختلف، ایندکس می‌کنند. وقتی صفحه‌ای از وب سایت شما ایندکس شود، یعنی در پایگاه داده موتور جستجو، شاخصی برای مراجعه به لینک آن بوجود آمده است و محتوای وب سایت شما در پاسخ به سرچ کاربران، نمایش داده می‌شود. سئو به کمک تمام قواعدی که دارد به مدیران وب سایت‌ها کمک می‌کند تا هر چه زود‌تر، صفحات سایت خود را ایندکس کنند. بنابراین واضح است که دغدغه هر مدیر سایت یا متخصص سئو، در مرحله اول، ایندکس شدن صفحات باشد.
اما چرا گاهی نیاز به جلوگیری از ایندکس شدن سایت داریم؟ آیا این کار مخالف تمام قواعد سئو نیست؟ در پاسخ به این سؤال باید بگوییم که در طول مدتی که مشغول ساخت یا اداره وب سایت هستید، این موقعیت پیش می‌آید، که در ادامه مواردی از آن را نام می‌بریم. با ما همراه شوید…
جلوگیری از ایندکس شدن صفحات سایت
جلوگیری از ایندکس شدن صفحات سایت، در مواقعی لازمه اداره وب سایت است. برای مثال اگر قصد داشته باشید محتوای نا‌درست بعضی از صفحات را ویرایش کنید، ترجیح می‌دهید از خزیدن Crawler ها جلوگیری کنید تا اعتبار وب سایت شما با انتشار محتوای نا‌مناسب، خدشه دار نشود. همچنین ممکن است بعضی از صفحات را به صورت آزمایشی روی اینترنت قرار دهید و انتشار آن‌ها را قطعی نکرده باشید بنابراین تا رسیدن به نسخه‌های نهایی، از دسترسی ربات‌های موتور جستجو به وب سایت جلوگیری می‌کنید. به علاوه مواردی که نام بردیم، شاید برخی سازندگان وب سایت‌ها، صفحاتی را تنها برای تمرین کردن و بدون هیچ هدف خاصی، ایجاد کنند و نمی‌خواهند این صفحات، توسط موتورهای جستجو ایندکس شوند.
حالا متوجه شدیم که جلوگیری از ایندکس شدن صفحات سایت چه دلایلی می‌تواند داشته باشد. البته شاید شما در طول زمانی که یک وب سایت را اداره می‌کنید به موارد دیگر هم برخورد کنید که نیاز به جلوگیری از ایندکس شدن سایت، داشته باشید.
برای جلوگیری از ایندکس شدن صفحات سایت، چند روش مختلف وجود دارد که در ادامه به آن‌ها می‌پردازیم.
روش‌های جلوگیری از ایندکس شدن سایت
روش‌های جلوگیری از ایندکس شدن سایت به کمک سیستم‌های مدیریت محتوا به راحتی انجام می‌شوند. همچنین با تغییر چند تگ در کد HTML می‌توانید مانع خزیدن Crawler ها شوید. این روش‌ها عبارتند از:
- تغییر فایل robot.txt: کافی است این فایل را بر روی هاست پیدا کنید و دو مقدار زیر را تغییر دهید:
User-agent: *
Disallow: /
- در سطح پیشرفته‌تر هم می‌توانید کاری انجام دهید تا ربات‌های گوگل نتوانند صفحات شما را ببینند. کافی است به هاست وردپرس یا هاست لینوکس وارد شوید و در قسمت File manager بر روی فایل Public_html راست کلیک کرده و گزینه Password protect را انتخاب نمایید. به این ترتیب روی صفحه مد نظر خود، یک رمز عبور قرار می‌دهید که بدون آن هیچ کاربر یا رباتی نمی‌تواند به صفحه دسترسی پیدا کند.
- اگر وب سایت شما با وردپرس ساخته شده است، می‌توانید به راحتی کاری انجام دهید که سایت، توسط گوگل یا موتور های جستجوی دیگر، ایندکس نشود. برای این کار به مدیریت پنل وردپرس وارد شوید و سپس به قسمت تنظیمات بروید و روی گزینه خواندن کلیک کنید و در کادر کنار آن، گزینه نمایش به موتورهای جستجو را تیک بزنید. پس از این کار دیگر موتورهای جستجو نمی‌توانند به طور کلی وارد سایت شما شوند. پس ربات‌های موتور جستجو نه فقط یک صفحه بلکه کل سایت را نمی‌توانند بخوانند یا Crawl کنند.
نتیجه‌گیری
متوجه شدیم که به ندرت مواقعی پیش می‌آید که مجبوریم از ایندکس شدن سایت جلوگیری کنیم، اما در هرشرایطی که برای جلوگیری از کاهش اعتبار سایت خود در موتورهای جست و جو نیاز به جلوگیری از خزیدن Crawler ها داشتید، می توان با استفاده از راهکارهای ذکر شده، به طور اصولی مانع از ایندکس شدن صفحات سایت گردید. توجه داشته باشد، در صورتی که قصد به روز رسانی سایت خود را دارید، برای جلوگیری از Duplicate content شدن، باید سایت جدید را خارج از دسترس موتورهای جستجو قرار دهید و وقتی نسخه نهایی ساخته شد، نسخه قدیمی را دیلیت کرده و سپس موانع را در وب سایت جدید برای خزیدن ربات‌های موتور جستجو بردارید. در صورت وجود هرگونه ابهام یا نیاز به تخصص تیم وبتو با مشاوران ما تماس بگیرید تا بتوانند در زمینه امور مربوط به جلوگیری از ایندکس شدن صفحات سایت، شما را راهنمایی کنند.
