سئو سازی با استفاده از Robots.txt کمک می کند تا بهینه سازی موتورهای جستجو انجام شود. بسیاری از افراد بر این باور هستند که نمی توانند روی موتورهای جستجو مانند گوگل، تسلط زیادی داشته باشند. اما باید بدانید که این تصور اشتباه می باشد و شما می توانید با استفاده از Robots.txt، سئو سازی وب سایت تان را انجام دهید. فایل Robots.txt یکی از فایل های ساده متنی می باشد. فرمت txt یکی از مهمترین فرمت های این فایل متنی می باشد. شما می توانید این فرمت را در دایرکتوری وب سایت خود قرار دهید.
برای سئو سازی سایت خود با استفاده از فرمت Robots.txt می توانید به کراولرها و ربات های گوگل، دستورات مد نظرتان را ارائه دهید. به عنوان مثال با استفاده از این فرمت می توانید به انواع ربات های google دستور دهید که کدام یکی از صفحات وب سایت تان را ایندکس نمایند. همچنین می توانید به ربات ها دستور دهید که کدام یک از صفحات را ایندکس نکنند و در نتایج گوگل نشان دهند. اهمیت فایل متنی Robots.txt برای سئو سایت بسیار زیاد است. بنابراین شما برای بالا بردن رتبه سئو وب سایت خود باید با این فایل متنی و کاربردهای آن آشنا باشید.
برای سئو سازی با استفاده از Robots.txt باید فایل را کجا قرار دهیم؟
به طور کلی شما باید به خوبی بدانید که فایل متنی Robots.txt یکی از فایل های قدرتمند می باشد. شما می توانید با استفاده از این فایل برای سئو سایت حرفه ای اقدامات لازم را انجام دهید. اگر به درستی از این فایل متنی استفاده کنید، می توانید متوجه تاثیر بی نظیر آن روی وب سایت خود شوید. البته زمان استفاده از این فایل باید مراقب نرم افزارها و ربات هایی که جاسوس هستند باشید. برخی از ربات ها عملکردشان خارج از قوانین می باشد و امکان دارد که آسیب جبران ناپذیری را به وب سایت تان وارد کنند.
فایل Robots.txt را برای سئو سازی می توانید در دایرکتوری خود ذخیره کنید. پس از آن برای پیدا کردن فایل نیاز است که به قسمت دسترسی FTP بروید. بعد از اینکه این عملیات را انجام دادید می توانید این فایل را در قسمت public_html وب سایت خود بیابید. به طور کلی شما باید به خوبی بدانید که حجم این فایل سنگین نیست. به همین دلیل به راحتی استفاده می شود. در بسیاری از مواقع حجم این فایل به چند صد بایت می رسد. از آنجایی که این فایل چندان سنگین نیست باید بدانید که ایجاد نمودن آن کار دشواری نمی باشد.
چگونه فایل Robots.txt را ایجاد کنیم تا سئو سازی انجام شود؟
در بین انواع فایل های متنی باید بدانید که فایل Robots.txt یکی از فایل های ساده می باشد و ایجاد نمودن آن اصلا سخت نیست. شما برای ایجاد کردن این فایل جهت بالاتر بردن رتبه سئو داخلی، باید از ویرایشگر Notepad استفاده نمایید. در این ویرایشگر نیاز است که یک صفحه را باز کرده و سپس برگه خالی که نام آن robots.txt است را درون آن ذخیره نمایید. پس از آن می توانید وارد cPanel شده و فایل public_html را جهت دسترسی پیدا کردن به دایرکتوری باز نمایید. پس از اینکه public_html را باز نمودید باید فایل را درون آن قرار دهید.
شما به عنوان مالک سایت برای سئو سازی باید به تمامی بخش های فایل دسترسی پیدا کنید. در این صورت می توانید هر یک از بخش ها را بخوانید، بنویسید و یا ویرایش کنید. هر یک از دسترسی های ضروری را تنها به صاحب وب سایت ارائه می دهند. یعنی فرد دیگری نمی تواند این دسترسی ها را در اختیار داشته باشد و از آنها استفاده کند. دستورات زیادی برای استفاده از فایل Robots.txt وجود دارد که هر یک از این دستورات را باید طبق استانداردهای مشخص شده رعایت کنید و انجام دهید.
دستورهای موجود در فایل Robots.txt برای سئو سازی
به طور کلی باید بدانید که دو نمونه دستور در فایل Robots.txt وجود دارد. شما از این دو دستور می توانید برای سئو سایت حرفه ای خود استفاده کنید. اولین دستوری که در این فایل وجود دارد محدود سازی می باشد که برای کراول کردن موتورهای جستجو انجام می شود. دومین دستور هم مربوط به اجازه دادن است که برای کرول کردن موتورهای جستجو اهمیت دارد.
خوب است در ارتباط با سئو سازی مقاله سئو سازی سایت رایگان با به روز رسانی محتوا را مطالعه نمایید.
با استفاده از فایل Robots.txt و دو دستوری که معرفی کردیم شما می توانید به ربات های گوگل دستورات متنوعی دهید. اینکه صفحات وب سایت شما ایندکس شوند و یا نشوند را بر اساس این دستورات می توانید انجام دهید. پیش از اینکه سئو سایت را با استفاده از دستور دادن بهینه سازی نمایید باید نام ربات اول را ذکر نمایید. برای اینکه ابتدا نام ربات اول را بیاورید و پس از آن، دستور را قرار دهید باید به ترتیب زیر اقدام نمایید:
1. دستور User-agent
برای سئو سازی هر یک از وب سایت ها علامت ستاره را در ابتدای عبارت می آورند. این علامت به این دلیل به کار می رود که هر یک از ربات های موتور جستجو را صدا بزند و آنها را در متن به کار بگیرد. از آنجایی که انواع ربات های موتور جستجو دارای مدل های متنوع هستند شما برای مخاطب قرار دادن آنها نیاز است که نامشان را به خوبی بیاموزید. در این مرحله نیازی نیست که نام آنها را بولد کنید. زمانی که علامت ستاره را در اول متن بیاورید می توانید تمامی موتورهای جستجو که در وب سایت هستند را مورد مخاطب خود قرار دهید.
2. دستور دیس الو
یکی از دیگر دستورات مهم فایل Robots.txt، دستور دیس الو می باشد. این دستور را بیشتر زمانی به کار می گیرند که صفحات را ایندکس نکنند. با استفاده از این دستور شما می توانید به تمامی ربات های جستجو بگویید که برای سئو سایت نمی خواهید صفحه مورد نظرتان ایندکس شود. در برخی از مواقع ممکن است که مشکلاتی برای وب سایت شما به وجود آید، در این صورت سریعا باید برای رفع مشکل اقدام نمایید. پیش از برطرف کردن مشکل باید دستور دیس الو را در قسمت فایل متنی Robots.txt بگذارید. اگر شما در این مرحله مشکل صفحه تان را حل نکنید و دستور دیس الو اجرا نشود به رتبه سئو وب سایت خود ضربه جدی می زنید. در واقع در صورت رفع نکردن مشکل، صفحه مد نظرتان ایندکس می شود و دیگر کارایی لازم را ندارد.
3. دستور Allow
یکی دیگر از دستوراتی که در فایل متنی Robots.txt اهمیت دارد و باید برای سئو سازی سایت به آن اهمیت دهید این دستور می باشد. این دستور عملکردش دقیقا برعکس دستور دیس الو می باشد. این دستور به گونه ای کار می کند که به تمامی ربات های گوگل اجازه ایندکس را خواهد داد. شما زمانی که صفحه خاصی از وب سایت تان دچار مشکل می شود از این دستور نباید استفاده کنید. چرا که در این شرایط هر یک از صفحات جستجو ایندکس می شوند و به همین دلیل به رتبه سئو سایت شما آسیب وارد می شود.
4. دستور Crawl-delay
Crawl-delay به انواع موتورهای جستجو دستور خواهد داد که صفحات وب سایت را با تاخیر ایندکس نمایند. این دستور بیشتر زمانی به کار می آید که صفحات تان دارای مشکل می باشد و شما جهت برطرف کردن آن اقدام می کنید. با اجرا کردن دستور Crawl-delay می توانید صفحه وب سایت تان را ایندکس کنید تا رتبه سئو وب سایت را بالاتر ببرید.
