برای آن که سایت شما در صفحه نتایج جستجو گوگل و دیگر موتورهای جستجو قرار بگیرد، نیاز دارد که ابتدا مطالب و محتواهایی که در سایتتان قرار داده اید، به وسیله ربات های موتورهای جستجوگر، بررسی شوند. به عملیاتی که به وسیله آن، مطالب و محتواها و صفحات یک سایت بررسی شده، Crawl یا خزیدن می گویند.
بدیهی است که ربات های موتورهای جستجو، نمی توانند بی نهایت صفحه را بخزند یا Crawl کنند. به تعداد صفحاتی از سایت ها که ربات های موتورهای جستجوگر در یک بازه زمانی مشخص، به خزیدن آن پرداخته یا Crawl می کنند، Crawl Budget یا بودجه خزیدن گفته می شود.
اگر شما بودجه خزیدن یا Crawl Budget سایت خود را هدر دهید، ربات های موتورهای جستجوگر که مسئولیت بررسی و جستجوی صفحات و مطالب و محتواهای سایت شما را بر عهده دارند، در پیدا کردن مطالب و محتواها و صفحات وب سایت شما و به اصطلاح در خزیدن و Crawl کردن وب سایت شما، دچار مشکل خواهند شد. اگر وب سایت شما در این زمینه دچار ضعف و مشکل شود، وب سایت شما در صفحه نتایج جستجو گوگل دیده نخواهد شد و لطمه سنگینی به سئو سایت شما وارد خواهد شد.
به همین دلیل، اگر به موضوعات مربوط به سئو سایت علاقه مندید، بهتر است با این مسئله که بودجه خزیدن یا Crawl Budget چیست و این که بهینه سازی Crawl Budget چگونه انجام می شود، آشنا شوید.
نحوه محاسبه بودجه خزیدن یا Crawl Budget چیست ؟
بودجه خزیدن یا Crawl Budget برای هر سایتی متفاوت است. موتورهای جستجو با بررسی دو متغیر در هر سایت، بودجه خزیدن یا Crawl Budget آن سایت را تعیین می کنند. بودجه خزیدن یا Crawl Budget بر اساس دو معیار زیر تعیین می شود.
-
محدوده خزیدن یا Crawl Limit
خیلی اوقات، ممکن است در هنگام انجام فرایند Crawl کردن، مشکلاتی بر سر راه ربات های خزنده موتورهای جستجوگر به وجود آید. محدوده خزیدن یا Crawl Limit، معیاری است که مشخص می کند هر چند وقت یک بار، ربات های خزنده موتورهای جستجوگر، می توانند به Crawl کردن محتواها و صفحات یک سایت بپردازند، بدون این که با مشکل خاصی رو به رو شوند.
-
تقاضای خزیدن یا Crawl Demand
این معیار نیز برای هر سایتی متفاوت است. تقاضای خزیدن یا Crawl Demand برای هر سایت، متناسب با رتبه ای که آن سایت در صفحه نتایج جستجو گوگل دارد و مقدار ترافیک آن سایت و این که هر چند وقت یک بار مطالب و محتواهای خود را به روز می کند، ارتباط دارد. در واقع تقاضای خزیدن یا Crawl Demand، معیاری است که مشخص می کند هر چند وقت یک بار، ربات های خزنده موتورهای جستجوگر علاقه دارند تا به Crawl کردن یک سایت بپردازند.
بهینه سازی Crawl Budget چگونه انجام می شود؟
همانطور که بیان کردیم، این که با چه سرعتی و چه تعدادی از صفحات شما به وسیله ربات های موتورهای جستجو گر Crawl شوند، از اهمیت بالایی برخوردار است. زیرا هرچه صفحات و محتوا ها و مطالب سایت شما، بیشتر Crawl شوند، در نتیجه صفحات و محتواها و مطالب سایت شما بیشتر ایندکس و فهرست بندی می شوند و اگر کاربری به دنبال مطالبی مشابه با مطالب و محتواهای سایت شما بگردد، سایت شما را راحت تر پیدا کرده و سایتتان رتبه بهتر و بالاتری در صفحه نتایج جستجو گوگل به دست خواهد آورد.
میزان صفحاتی از سایت شما که به وسیله ربات های موتورهای جستجوگر، Crawl می شود، Crawl Budget یا بودجه خزیدن می گویند. پس بودجه خزیدن یا Crawl Budget در بهبود سئو سایت و افزایش ترافیک و بازدید سایت بسیار موثر است. در نتیجه برای متخصصان سئو الزامی است که با روش های بهینه سازی Crawl Budget آشنا شوند. ما در این بخش به بررسی راه هایی که می توانید برای بهینه سازی Crawl Budget انجام دهید، می پردازیم. در زیر لیستی از روش های بهینه سازی Crawl Budget تهیه کرده ایم.
-
در فایل های txt، اجازه Crawl کردن و خزیدن از صفحات مهم خود را بدهید.
اولین و اصلی ترین گام در بهینه سازی Crawl Budget، این مرحله است. هنگامی که ربات های خزنده موتورهای جستجوگر، بخواهند سایت شما را Crawl کنند، ابتدا به دنبال فایل robots.txt که در سایت شما وجود دارد، می گردند. سپس با باز کردن و خواندن فایل robots.txt، متوجه می شوند که اجازه خزیدن و Crawl کردن چه صفحاتی به آن ها داده شده است.
همانطور که گفتیم هر چه صفحات بیشتری به وسیله ربات های خزنده موتورهای جستجو گر Crawl شوند، ترافیک و بازدید سایت شما بیشتر و رتبه سایت شما در صفحه نتایج جستجو گوگل بالاتر می رود. حال اگر در فایل robots.txt، اجازه دسترسی و خزیدن و Crawl کردن صفحات بیشتری را به ربات های خزنده موتورهای جستجو بدهید، تعداد صفحات بیشتری از سایت شما Crawl شده و در نتیجه شما در بهینه سازی Crawl Budget سایت خود نقش بسزایی داشته اید.
مدیریت فایل های robots.txt هم به صورت دستی انجام می شود و هم می توانید این کار را با استفاده از ابزار وب سایت انجام دهید. اگر از ابزار وب سایت برای مدیریت فایل های robots.txt استفاده کنید، کار شما راحت تر می شود.
-
تا جایی که امکان دارد از HTML استفاده کنید.
اگر تنها برایتان موتور جستجوگر گوگل اهمیت دارد و تنها رتبه سایتان در صفحه نتایج جستجو گوگل به نظرتان مهم است، پس جاوا اسکریپت گزینه بهتری برای شما محسوب می شود. زیرا ربات های خزنده موتور جستجوگر گوگل، در Crawl کردن صفحات و محتواهای سایت هایی که از جاوا اسکریپت استفاده می کنند، قوی تر عمل می کنند. البته ربات های موتور جستجوگر گوگل در Crawl کردن سایت هایی که از Flash و XML نیز استفاده می کنند، بهبود یافته است.
اما ربات های خزنده موتورهای جستجوگر دیگر، چند پله عقب تر از ربات های موتور جستجوگر گوگل قرار دارند. به همین دلیل یکی از روش های بهینه سازی Crawl Budget سایت، استفاده از HTML است. از این نظر ما به شما توصیه می کنیم که اگر قصد بهینه سازی Crawl Budget سایت خود را دارید، از HTML استفاده کنید.
-
به URL های سایت خود دقت کنید.
یکی از راه های بهینه سازی Crawl Budget سایت، توجه به URL های سایت است. باید به این موضوع دقت کنید که URL های جداگانه، از نظر ربات های خزنده، به عنوان صفحات جداگانه محسوب می شوند و باعث می شوند تا Crawl Budget سایت شما هدر رود.
