ایندکس نشدن سایت در گوگل | علت و راه حل مشکل ایندکس صفحه در گوگل

مشکل ایندکس نشدن صفحه سایت در گوگل و بالا نیامدن در نتایج جستجو یکی از مشکلات شایع در بین وبسایت های اینترنتی هست. شما به عنوان صاحب یک کسب و کار برای تولید محتوا و سئو صفحات تون زحمت زیادی کشیدین، ولی ناگهان با افت و کاهش شدید ترافیک کلیک صفحه روبرو می‌شین. وقتی خودتون کلمه کلیدی صفحه رو در گوگل جستجو می‌کنین، متوجه می‌شین که صفحه شما ناگهان ناپدید شده. این یک کابوس آزار دهنده است. ما اینجا هستیم تا به شما کمک کنیم این مشکل رو حل کنین.

ایندکس نشدن صفحات سایت در گوگل مشکل عمده خیلی از سایت ها است. چرا گوگل سایت رو ایندکس نمیکنه ؟ چرا سایت در نتایج گوگل بالا نیامده است ؟ چرا سایت من ایندکس نشده است ؟

گوگل باید سایت شما رو ایندکس یا فهرست بندی کنه تا سایت ترافیک ارگانیک از Google داشته باشه. ایندکس نشدن سایت به معنای گم شدن سایته. در صورت ایندکس نشدن سایت کسی نمی‌تونه مطالب و محتوای صفحات سایت شما رو به صورت ارگانیک از طریق جستجوی گوگل پیدا کنه، چون گوگل سایت شما رو ایندکس نکرده.

اولین قدم برای حل مشکل ایندکس نشدن سایت در گوگل، تشخیص مشکل ایندکس است. در این صفحه قصد داریم به شما کمک کنیم این مشکل رو به درستی در مورد سایت خوتون شناسایی و در صورت امکان راه حل ش رو پیدا کنید و رفع اش کنید.

این لیست تفریبا به ترتیب اولویت مرتب شده. می‌تونید در این لیست از بالا به پایین مرور کنید و علت و راه حل مشکل ایندکس نشدن سایت خودتون رو پیدا کنید.

عواملی که باعث ایندکس نشدن سایت می‌شن

سایت شما تحت دامنه www یا بدون www ایندکس میشه

از نظر فنی www یک زیر دامنه یا به عبارت بهتر یک ساب دامین است. بنابراین

            http://example.com
                            

همان

            http://www.example.com
                            

نیست. باید اطمینان حاصل کنید که هر دو سایت رو به درستی به حساب کنسول جستجوی گوگل یا همان GSC خودتون اضافه کردین تا اطمینان حاصل بشه که هر دو ایندکس شده اند. حتما دامنه دلخواه خود را تنظیم و مالکیت هر دو رو تأیید کنید.

البته در اغلب موارد نیازی نیست که دو سایت با ترافیک مجزای www و بدون www رو در GSC داشته باشید. در عوض بهتره ترافیک یکی رو روی دیگری ریدارکت کنید.

این کاملا بستگی به سیاست ترافیکی شما داره. بهتره به سابقه تبلیغات و پروفایل بک لینک خودتون رجوع کنید تا بتونید تصمیم صحیح بگیرید.

گوگل هنوز سایت شما رو پیدا نکرده

این مشکل معمولا در سایت های جدید مشاهده می‌شه. در این مورد چند روز به گوگل فرصت بدین تا سایت رو پیدا کنه و مشکل ایندکس نشدن صفحات سایت خودبخود حل بشه.

اما اگر گوگل باز هم سایت شما رو ایندکس نکرد، مطمئن بشید که نقشه سایت Sitemap رو به درستی بارگذاری و معرفی کردین. اگر نقشه سایت رو هنوز ایجاد یا به گوگل ارسال نکردین، بهتره در اولین فرصت انجامش بدین.

همچنین بعد از آپلود نقشه سایت باید درخواست خزیدن گوگل به منظور ایندکس شدن سایت رو برای گوگل ارسال کنین تا گوگل بعد از بررسی اقدام کنه. البته نحوه کار با گوگل وبمستر یا کنسول جستجوی گوگل در مقاله‌ای به همین نام در سایت مون به طور کامل شرح داده شده.

اما به طور خلاصه شما میتونید با وارد کردن آدرس صفحه اصلی سایت یا هر صفحه دلخواه از سایت تون در قسمت Inspect Any URL درخواست ایندکس شدن رو برای خزنده‌های گوگل که بهشون Google Web Crawler هم گفته میشه ارسال کنین.

این کار کمی زمان بره مخصوصا اگه سایت تون جدیدا راه اندازی شده باشه. پس با صبر و حوصله منتظر پیام کنسول جستجوی گوگل برای تایید درخواست تون باشید.

مسدود شدن کل سایت یا بعضی صفحات سایت در robots.txt

مشکل دیگه که باعث ایندکس نشدن صفحات سایت در گوگل میشه اینه که توسعه دهنده یا ویرایشگر شما با استفاده از فایل robots.txt سایت رو ناخواسته مسدود کرده باشن. این فایل برای اطلاع رسانی به روبات ها در مورد قسمت هایی از سایته که میتونن توش بخزن و صفحات رو ایندکس کنن.

البته راه حل این مشکل ساده است و فقط کافیه که فایل robots.txt رو حذف کنید تا سایت شما ایندکس بشه. همچنین میتونید این فایل رو ویرایش کنید و قسمت هایی که اشتباه هستند رو اصلاح کنید.

ایندکس نشدن سایت به دلیل نداشتن سایت مپ Sitemap

هر وب سایت باید یک sitemap.xml داشته باشه. نقشه سایت یا سایت مپ ، یک لیست ساده از دستورالعمل ها است که گوگل باید برای ایندکس کردن سایت شما دنبال کنه. اگر در هر بخش از سایت خود مشکلی در زمینه ایندکس شدن دارید، توصیه می‌کنم فقط برای اطمینان sitemap.xml خودتون رو بررسی و در صورت امکان اون رو دوباره ایجاد و ارسال کنید.

برای آپلود نقشه سایت در کنسول جستجوی گوگل مراحل زیر رو دنبال کنید:

• از منوی جانبی و در قسمت Index روی Sitemaps کلیک کنید
• در لیست Submitted sitemaps نقشه سایت های موجود رو بررسی و در صورت تمایل ویرایش یا حذف شون کنید
• در باکس Add a new sitemap آدرس نقشه سایت جدید رو معرفی و روی Submit کلیک کنید

شما مشکلات خزش یا Crawl Errors دارید

در برخی موارد گوگل برخی صفحات رو در سایت شما ایندکس نمی‌کنه چون نمیتونه اونها رو دریافت و بررسی کنه. ممکنه بتونه اون صفحات رو دریافت کنه ولی نتونه بررسی شون کنه.

در هر صورت برای شناسایی این خطاهای خزیدن یا Crawl Errors در کنسول جستجوی گوگل مراحل زیر رو طی کنید:

• از منوی جانبی و در قسمت Index روی Coverage کلیک کنید
• روی گزینه Error کلیک کنید تا نمودار خطاها رو ببینید. گزینه های دیگر مثل Valid , Excluded رو خاموش کنید.
• در قسمت Details روی هر کدوم از Error ها کلیک کنید تا لیست صفحاتی که دارای اون نوع خطا هستند رو ببینید

ایندکس نشدن سایت به دلیل مطالب تکراری زیاد

محتوای تکراری یا Duplicate Content زیاد در یک سایت می‌تونه موتورهای جستجو رو به اشتباه بندازه و باعث بشه اونها از ایندکس کردن سایت شما خودداری کنن. اگر چندین آدرس اینترنتی در سایت شما دقیقاً به یک محتوا اشاره میکنن این یعنی شما با مشکل محتوای تکراری یا Duplicate Content سر و کار دارین.

برای رفع این مشکل، یک آدرس از صفحه مورد نظر رو نگه دارید بقیه رو ریدایرکت 301 کنید روی اولی.

بعضی اوقات استفاده از عبارت canonical به عنوان خصیصه rel یک لینک منطقی تر از ریدارکت 301 هست. به مثال زیر دقت کنید:

ولی باید مراقب استفاده نادرست اش باشید. بعضی از مشتریان ما به دفعات گزارش دادن که ست کردن نادرست canonical سبب ایندکس نشدن سایت شون شده.

ایندکس نشدن به دلیل فعال کردن تنظیمات حریم خصوصی

اگر مشکل ایندکس نشدن سایت وردپرس دارین ممکنه تنظیمات حریم خصوصی سایت رو بطور تصادفی فعال کرده باشین. وردپرس یه تنظیمی داره که اگه فعالش کنین هیچکدوم از صفحات سایت تون ایندکس نمیشن. برای بررسی این تنظیم به شکل زیر اقدام کنین:

• وارد پنل مدیریت سایت وردپرس خودتون بشین
• از منوی تنظیمات وارد تنظیمات خواندن بشین
• در قسمت نمایش به موتورهای جستجو چک کنید که تنظیم خاموش باشه و تیک نخورده باشه

سایت توسط فایل htaccess مسدود شده

فایل htaccess سایت که در مسیر اصلی سایت موجوده بخشی از سایت شما در سرور هست که اجازه می‌ده تا در دنیای وب در دسترس باشید.

فایل htaccess فایل تنظیمات سطح دایرکتوری یا Directory Level Setting سرور وب آپاچی Apache Web Server هست. این فایل علیرغم کاربردهای فراوانش میتونه به اشتباه خزنده‌های موتورهای جستجو رو مسدود کنه و باعث مشکل ایندکس نشدن صفحات سایت بشه.

چرا گوگل سایت رو ایندکس نمیکنه

چرا گوگل سایت رو ایندکس نمیکنه. این سوالیه که برای خیلی از شما پیش اومده. گوگل منابع محدودی داره و سایت های اینترنتی زیاد هستند. اگر سایت شما به اندازه کافی خوب نباشه ممکنه گوگل در مورد تصمیم اینکه محتوای صفحات سایت شما رو ایندکس بکنه یا نکنه دچار تردید بشه.

این الگوریتم به شیوه ای توسعه پیدا کرده که فقط محتوای مفید دست اول با کیفیت رو از سرتاسر اینترنت جمع آوری بکنه. پس اصلا الزامی از طرف گوگل برای اینکه حتما و همیشه محتوای صفحات شما رو به سرعت ایندکس کنه وجود نداره. برای ایندکس شدن باید به اندازه کافی خوب باشید.

دلایل اصلی ایندکس نشدن صفحات سایت در گوگل

دلایل زیر عمده ترین دلایل ایندکس نشدن سایت در گوگل هستند. اگر سایت شما هم در ایندکس گوگل بالا نمیاد یا صفحات به سرعت ایندکس نمیشن موارد زیر رو بررسی کنید. اگر این موارد کمک کننده نبود برای دریافت مشاوره و بررسی دقیق از طریق واتسپ تماس بگیرید.

سایت دارای متای robots با مقدار noindex هست

روش دیگر «نه گفتن» به روبات‌های خزنده موتورهای جستجو و در نتیجه ایندکس نشدن سایت، داشتن متا تگ‌های noindex هست که اغلب به این شکل دیده میشن:

این یکی از اون موارده که وقتی میرین و چک میکنین با خودتون میگین مگه میشه همچین اشتباهی کرده باشم!

این جمله رو تا به حال از خیلی از مشتری هامون شنیدیم. وقتی بهشون میگیم برین متای روبوتس تون رو چک کنین، میگن محاله از اونجا باشه. خیلی از این مشتریان تگ متای روبوتس با مقدار noindex رو گذاشتن توی صفحه اصلی شون که باعث ایندکس نشدن سایت شون شده.

بعضی اوقات به دلیل تغییر مسیرها مشاهده این متاها دشواره، بنابراین باید قبل از تغییر مسیر وجود چنین متاتگ هایی رو بررسی کنید. البته اغلب این راه حل ساده رو میتونید دنبال کنید و  اون خط کد رو حذف کنید  تا دوباره ایندکس بشید.

ایندکس نشدن به دلیل مشکلات AJAX و JavaScript

گوگل  JavaScript و AJAX رو ایندکس می‌کنه. اما این زبانها به آسانی HTML قابل ایندکس شدن نیستن. بنابراین، اگر پیکربندی صفحات تون رو به صورت اشتباه با AJAX و JavaScript اجرا کرده باشین باید بدونین که گوگل اون صفحه رو ایندکس نمی‌کند.

سایت شما بار زیادی از خزنده گوگل می‌گیره

اگر صفحات سایت شما بار زیادی بگیره، باعث افزایش زمان بارگذاری اون شده و گوگل چنین صفحاتی رو دوست نخواهد داشت. اگر خزنده گوگل با بار قابل توجهی روبرو بشه به احتمال زیاد به هیچ وجه اون صفحه یا سایت رو ایندکس نمی‌کنه. برای بهبود وضعیت سرعت صفحات سایت وردپرسی تون باید تدابیر جدی اتخاذ کنید.

در نظر داشته باشید ابزار PageSpeed Insights ابزار رسمی شرکت گوگل برای سنجش سرعت صفحات سایت شماست که باید نمره بالای ۹۰٪ از این ابزار بگیرید. این ابزار هم سرعت سایت برای نسخه موبایل و هم نسخه دسکتاپ رو به صورت مجزا تست و ارزیابی میکنه.

ایندکس نشدن سایت به دلیل داون شدن سرور

اگر خزندگان نتونن به سایت شما دسترسی داشته باشن طبیعیه که اون رو ایندکس هم نخواهند کرد چون نمیتونن این کار رو انجام بدن. اما چرا این اتفاق می‌افته؟ اتصال و کانشکن سرورتون رو بررسی کنید. اگر هاست شما مکرر قطع می‌شود، ممکن است سایت توسط خرنده‌ها بررسی نشه. بهتره چنین هاستی رو عوض کنین و از یک سرویس با کیفیت استفاده کنین.

گوگل سایت شما رو Deinedexed و به صورت دستی از ایندکس خارج کرده

اگه با یک پنالتی دستی Manual Penalty از طرف گوگل با شما برخورد شده باشه و از ایندکس خارج شده باشین، احتمالاً بدترین حالت ممکن براتون اتفاق افتاده. اگه سایتی با سابقه سایه دار (استفاده از راه های غیر مجاز برای بهبود رتبه گوگل) دارید، ممکنه گوگل شما رو پنالتی کرده باشه و به همین دلیل با مشکل ایندکس نشدن سایت مواجه شده باشین.

اگر به این دلیل سایت شما از ایندکس گوگل به شکل دستی پنالتی و خارج شده باشه باید یک دوره نسبتا طولانی فعالیت مفید و موثر داشته باشین تا از پنالتی دستی خارجی شین. در این مورد بهتره برای دریافت مشاوره اقدام کنین.

دلیل ایندکس نشدن سایت در گوگل

ایندکس نشدن سایت یکی از مشکلات اساسی سئو سایت محسوب می‌شه. باید تمام تلاش تون رو بکنین تا علت ایندکس نشدن سایت خودتون رو متوجه بشین. سرعت ایندکس شدن سایت اهمیت زیادی داره، چون وقتی مطلب جدیدی در سایت قرار می‌گیره خیلی مهمه که موتورهای جستجو بتونن سریع‌تر اون رو پیدا کنن.

این کار مانع سوء استفاده دیگران از مطالب یونیک و دست اول شما می‌شه. دلایل متعددی هست که صفحات سایت ممکنه در گوگل ایندکس نشن. مهمترین این دلایل عبارتند از:

• سایت جدیده و گوگل هنوز پیداش نکرده
• نقشه سایت به درستی ایجاد و آپلود نشده
• دسترسی به خزنده گوگل در فایل robots.txt محدود شده
• متای robots با مقدار noindex تنظیم شده
• سرعت سایت تون پایینه و صفحات کند هستن
• شما از طرف گوگل به صورت دستی پنالتی شدین
• سرورتون مرتب داون میشه
• سرور رو اخیرا تغییر دادین
• آدرس های IP سرورتون مدام تغییر میکنن
• مشکلات AJAX دارین و محتوا رو از طریق جاوا اسکریپت در صفحات لود میکنین
• ایندکس نشدن سایت به دلیل محدودیت حریم خصوصی در تنظیمات وردپرس

البته ایندکس نشدن سایت میتونه دلایل متعدد دیگری هم داشته باشه. اگه هنوز سایت تون مشکل ایندکس شدن در گوگل داره بهتره برای دریافت مشاوره تماس بگیرید.

مشاوره برای بالا آمدن سایت در نتایج گوگل

یکی از راهکارها برای این که بتونید خزنده‌های گوگل رو به سایت خودتون عادت بدین تا مطالب رو سریعتر ایندکس کنن اینه که دائما سایت خودتون رو بروز کنین. بنابراین مطالب تون رو با برنامه ریزی سر تایم مشخصی بروز کنین تا خزنده ها متوجه بشن که سایت شما هر چند وقت یکبار به روز میشه.

مرحله بعد اینه که لینک های سایت خودتون رو در سایت هایی با اعتبار دامنه بالا قرار بدین. این کار ممکنه برای شما هزینه هایی چون تبلیغات و حضور در شبکه‌های اجتماعی داشته باشه. ولی مطمئنا به هزینه ای که میکنین می ارزه.

نقشه سایت رو همان طور که قبلا بهش اشاره شد، فراموش نکنین. تا جایی که می‌تونین لینک صفحات سایت خودتون رو تغییر ندین. تا میتونین سرور سایت تون رو تغییر ندین. خیلی خوبه که از روز اول برای انتخاب سرور مناسب تحقیقات لازم رو انجام بدین تا مجبور به تغییر مداوم اون نشین.

تغییر سرور میتونه به سئو سایت تون آسیب بزنه و نظم خزنده برای خزش و کراول کردن صفحات سایت شما رو به هم بزنه که خودش باعث ایندکس نشدن صفحات سایت در گوگل یا کاهش سرعت ایندکس صفحات سایت در گوگل بشه.

مشکل ایندکس شدن صفحات سایت در گوگل

معلوم نیست مشکل گوگل چیه. اخیرا گوگل واقعا داره با اعصاب صاحبان سایت و کسب و کارهای اینترنتی بازی می‌کنه. مشکلات ایندکس گوگل تمومی ندارن و اخیرا بیشتر هم شدن. در ادامه مشکلات عمده ایندکس گوگل که اخیرا رخ داده رو لیست کردیم که با این موتور جستجو بیشتر آشنا بشید.

صفحه از ایندکس و لیست نتایج جستجو حذف شده

پارسال از یکشنبه ۱۸ فروردین تا پنجشنبه ۲۲ فروردین سال ۱۳۹۸ ما روی سایت چند تا از مشتری هامون دیدیم که صفحات شون یکباره از روی ایندکس حذف شد. این صفحات کلی رتبه گرفته بودن و براشون زحمت زیادی کشیده شده بود.

بررسی های دقیق تری که انجام دادیم به یک نتیجه گیری آماری رسیدیم.

این مشکل از طرف گوگل در لیست نتایج جستجو پنجشنبه همون هفته رفع شد. مشکل در کنسول جستجوی گوگل تا دوشنبه ۲۶ فروردین ادامه داشت و نهایتا حل شد. با بررسی های بیشتر مشخص شد یه مشکل نرم افزاری باعث شده بود کل اطلاعات از روی سرورهای گوگل در بازه ۲۰ فروردین تا ۵ اردیبهشت ۱۳۹۸ کلا بپره.

داده‌های کنسول جستجوتون رو اگه چک کنین در این بازه زمانی با میان یابی ایجاد شدن و داده های واقعی نیستن!

مشکل در نمایش آدرس های Canonical و بردکرامب Breadcrumb

مشکل قبلی تازه حل شده بود که در ۶ اردیبهشت همون سال (یعنی سال ۱۳۹۸) یک مشکل دیگه روی ایندکس گوگل ایجاد شد. این بار اطلاعات آدرس های Canonical و Breadcrumb برای چندین وبسایت به مشکل خورد. این مشکل رو ما مستقیما روی سایت های مشتری احساس نکردیم.

ولی خب چندتا گزارش معتبر که خوندیم متوجه شدیم چنین مشکلی بوجود اومده. گستره این مشکل به اندازه مشکل قبلی نبود. البته این باز هم باعث حذف صفحه از لیست نتایج جستجو برای بعضی از این سایت ها شد.

همچنین بعضی سایت ها در قسمت بردکرامب Breadcrumb شون توی نتایج جستجو، اطلاعات اشتباه از یک سایت دیگه رو دیده بودن که ربطی به سایت خودشون نداشته!

مشکل ایندکس نکردن محتوای سایت

چهارشنبه ۱ خرداد ۱۳۹۸ گوگل توی وبلاگ اش یه مشکل رو گزارش کرد. این بار مشکل ایجاد شده سبب شده بود که محتوای جدید سایت ها علیرغم کراول شدن، ایندکس نشه. مشکل ایندکس نشدن محتوای جدید سایت قبلا هم چند بار رخ داده بود. در این زمان اگه به کنسول جستجو میرفتین گوگل اعلام میکرد که محتوا رو ایندکس کرده. ولی وقتی کلمه کلیدی رو جستجو میکردین میدیدن که صفحه تون توی ایندکس و توی لیست نتایج جستجو SERP گوگل نیست.

البته این باگ به سرعت در همون تاریخ رفع شد و به صورت مقطعی برای چند ساعت مشاهده شده بود.

باگ ایندکس نشدن در گوگل

گوگل اخیرا یک آپدیت منتشر کرد که سبب شد باگ ایندکس نشدن صفحات سایت در گوگل تا حد زیادی حل شود.

این باگ که مرتبط با ایندکس صفحات برای جستجوی موبایل بود بر طبق اظهار گوگل تا ۹۹٪ حل شده. البته مشکل ایندکس Canonical همچنان به قوت خود باقی است و بیش از ۵۵٪ از آن حل نشده است.

مشکل ایندکس موبایل

پس از ایجاد این مشکل صفحات از ایندکس جستجوهای موبایل به طور ناگهانی حذف میشدند. علاوه بر حذف صفحات اصلی برخی از سایت ها از ایندکس جستجوی موبایل، بقیه صفحات داخلی هم با دشواری ایندکس میشدن و مدتی پس از انتشار طول میکشید تا ایندکس بشن.

مشکل ایندکس کنونیکال Canonical

مشکل بعدی در باگ ایندکس نشدن در گوگل مربوط به نسخه اصلی یا کنونیکال بود. صاحبان سایت که محتوای دست اول روی سایت شون منتشر میکردن مورد سرقت ادبی قرار میگرفتن و محتواشون توسط اسکرپرها به سرقت میرفت و باز نشر میشد. گوگل اشتباها نسخه سرقتی و نه نسخه اصلی رو در ایندکس ارائه میکرد. این مشکل واقعا جدی بود و گوگل باید به سرعت حلش میکرد.

این مشکل در مورد محتوای جمع آوری شده از منابع مختلف حتی به صورت مجاز هم رخ میداد و گوگل نسخه اصلی و کنونیکال رو در ایندکس نمایش نمیداد.

در تاریخ ۱۸ آبان ۱۳۹۹ گوگل بالخره مشکل ایندکس مرتبط با نسخه اصلی و کنونیکال Canonical Issue رو حل کرد.

این مشکلات حتی اگر حل شوند هم مشکلات زیادی را برای صاحبان سایت ها ایجاد کرده و می‌کنند. خروج یک صفحه از ایندکس حتی به صورت موقت ممکن است آسیب جدی به برندینگ یک مجموعه وارد کند.