موتور جستجو چطور کار میکنه + راهنمای کامل عملکرد موتورهای جستجو

از دید کاربران، موتورهای جستجو عین یه معجزه در دنیای مدرن هستن. شما یه کوئری رو در باکس جستجو تایپ میکنین و در میلی ثانیه پاسخ‌های مرتب و دسته بندی شده رو تحویل میگیرین! خب این خیلی کار جالبیه ولی آیا اصلاً میدونین که یه موتور جستجو چطور کار میکنه و انقدر دقیق پاسخ مرتبط با کوئری شما رو ظاهر میکنه؟
موتورهای جستجوی معروف مثل Google حتی در نتایج جستجو مستقیماً به همون سوالی که شما پرسیدین پاسخ میدن که این کارشون در زمان کاربر صرفه جویی میکنه.

اما خب باز هم این سوال پیش میاد که نحوه کار موتور جستجو چگونه است و اصلاً چرا باید به عنوان یه تولید کننده محتوا به همچین چیزی اهمیت بدیم؟

تو این راهنمایی که امروز براتون آماده کردیم قراره یاد بگیرین که:

• موتور جستجو چیه؟
• موتور جستجو چطور کار میکنه ؟
• الگوریتم های موتور جستجو چطور کار میکنن؟
• نحوه کار Google (توضیح غیر فنی) چطوریه؟
• نحوه کار الگوریتم جستجوی Google به چه صورته؟
• چرا (اگه وب سایت دارین) الگوریتم Google اهمیت داره؟

موتور جستجو چیه؟

قبل از صحبت کردن در مورد این که موتور جستجو چطور کار میکنه بهتره بدونین که اصلاً یه موتور جستجو یا Search Engine چیه!

یه موتور جستجو از دو تا قسمت اصلی تشکیل شده: یه پایگاه داده از اطلاعات و الگوریتم هایی که رتبه یه کوئری جستجو شده رو محاسبه می‌کنن و مشخص می‌کنن که چه نتیجه‌ای برای چه کوئری مناسبه!

در مورد موتورهای جستجوی وب مثل گوگل، پایگاه داده از میلیاردها صفحه وب تشکیل شده و الگوریتم ها صدها عامل رو برای ارائه مناسب‌ترین نتایج بررسی می‌کنن.

موتور جستجو چطور کار میکنه ؟

موتورهای جستجو با گرفتن لیستی از URL های شناخته شده کار می‌کنن و سپس به یه Scheduler میرن. این Scheduler تصمیم می‌گیره که چه موقع هر URL رو کراول کنه.

صفحات خزیده میشن و سپس به تجزیه کننده (parser) میرن که در اون اطلاعات حیاتی استخراج و فهرست بندی میشه. پیوندهای تجزیه شده به Scheduler مراجعه می‌کنن که اونجا Crawl و re-crawl کردن اونها رو اولویت بندی می‌کنه.

حالا وقتی شما چیزی رو جستجو می‌کنین، موتورهای جستجو صفحات منطبق رو برمی‌گردونن و الگوریتم ها اونها رو از نظر ارتباطی رتبه بندی می‌کنن پس نحوه کار موتور جستجو به زبان ساده و غیرفنی به این صورته!

شکل زیر یه نمودار از Google است که این روند رو براتون به تصویر کشیده:

نگران الگوریتم های رتبه بندی نباشین چون اونها رو هم به زودی پوشش خواهیم داد. اما اول باید بیشتر در مورد مکانیزم‌های مورد استفاده برای ساخت و نگهداری ایندکس کردن وب صحبت کنیم تا بدونیم موتور جستجو چطور کار میکنه. همچنین درباره عواملی که برای دونستن عملکرد موتورهای جستجو بهشون نیاز داریم و عبارتند از: برنامه ریزی (scheduling)، خزیدن (crawling)، تجزیه (parsing) و فهرست بندی (indexing)، بیشتر بدونیم.

در کل موتورهای جستجو دارای سه تا عملکرد اصلی هستن:

• کراول کردن: اینترنت رو به منظور پیدا کردن محتوا جستجو میکنه، کد/محتوای هر URLیی رو که پیدا میکنه جستجو میکنه.
• ایندکس کردن: محتوایی که در هنگام خزیدن، پیدا کرده رو ذخیره و سازماندهی میکنه و وقتی که یه صفحه ایندکس شد، می‌تونه برای پاسخ به کوئری‌های مرتبط نمایش داده بشه.
• رتبه بندی کردن: بخش‌هایی از محتوا رو طوری ارائه میده که مرتبط‌ترین پاسخ به کوئری جستجوگر تحویل داده بشه، یعنی که نتایج به ترتیب مرتبط‌ترین و کم ربط‌ترین رتبه بندی میشن.

1. برنامه ریزی – scheduling

اولین موردی که لازمه برای یادگیری نحوه عملکرد موتور جستجو بدونین اینه که برنامه ریزی تو این کار یعنی چی! در واقع برنامه ریز یا Scheduler اهمیت نسبی URL های جدید و شناخته شده رو ارزیابی میکنه؛ سپس تصمیم می‌گیره که چه موقع URL های جدید رو کراول کنه و چند بار دیگه URL های شناخته شده رو دوباره کراول کنه پس یعنی این مورد به Crawling و Re-crawling مربوطه.

2. خزیدن – crawling

دومین مورد برای رسیدن به جواب سوال موتور جستجو چطور کار می‌کنه اینه که بدونین کراول کردن چیه.

خزنده (crawler) یه برنامه رایانه‌ایه که صفحات وب رو بارگیری میکنه. موتورهای جستجو با کراول کردن مرتب صفحات شناخته شده که اغلب پیوندهای جدیدی با گذشت زمان بهشون اضافه میشه، محتوای جدید رو کشف می‌کنن.

به عنوان مثال، هر بار که یه پست وبلاگ جدید منتشر می‌کنیم، این مطلب به بالای صفحه اصلی وبلاگ ما، جایی که پیوندی وجود داره، منتقل میشه.

وقتی که یه موتور جستجو مثل Google دوباره اون صفحه رو کراول میکنه، محتوای صفحه رو با پیوندهایی که اخیراً اضافه شده بارگیری میکنه.

بعد از اون، خزنده صفحه وب بارگیری شده رو به تجزیه کننده منتقل میکنه.

3. تجزیه کردن – parsing

سومین مورد برای درک نحوه کار موتور جستجو ، دونستن در مورد تجزیه کننده است! تجزیه کننده پیوندها رو از صفحه مورد نظر همراه با سایر اطلاعات اصلی استخراج میکنه. سپس URL های استخراج شده رو به Scheduler می‌فرسته و داده‌ها رو برای نمایه سازی استخراج می‌کنه.

4. فهرست بندی – indexing

و میریم سراغ آخرین مورد ولی نه کم اهمیت‌ترین! ایندکس کردن جاییه که اطلاعات تجزیه شده از صفحات خزیده شده به یه پایگاه داده به نام فهرست جستجو اضافه میشه.

این مورد رو به عنوان یه کتابخونه دیجیتالی پر شده از اطلاعات مربوط به میلیاردها صفحه وب در نظر بگیرین.

الگوریتم موتور جستجو چیه؟

کشف و ایندکس کردن محتوا اولین قسمت نحوه کار موتور جستجو است. موتورهای جستجو به یه روشی برای رتبه بندی نتایج مطابق با جستجوی کاربر نیاز دارن که این وظیفه خطیر و حساس به عهده الگوریتم های موتور جستجو است.

هر موتور جستجو، الگوریتم های منحصر به فردی برای رتبه بندی صفحات وب داره. اما از اونجایی که گوگل پرکاربردترین موتور جستجو است (حداقل در دنیای غرب)، ما هم بیشتر رو الگوریتم های گوگل تمرکز میکنیم.

موتور جستجوی گوگل چطوری کار میکنه؟

Google تقریباً به همون روشی که در بالا توضیح داده شد کار میک‌نه. ولی اگه دلتون میخواد بدونین که نحوه عملکرد موتور جستجوی گوگل به چه صورته باید بگیم که: این موتور وب رو جستجو میکنه و محتوای پیدا شده رو ایندکس میکنه. سپس، وقتی چیزی رو جستجو می‌کنین، نتایج مطابقی برای شما ظاهر میشه که گوگل از نظر الگوریتمی، اونها رو بر اساس ارتباط در کسری از ثانیه رتبه بندی می‌کنه.

نحوه عملکرد موتور جستجو Google بخاطر سه تا فاکتور خیلی کارش درسته:

اول از همه اونها در مقیاس بزرگتر از هر کس دیگه‌ای وب رو crawl و re-crawl می‌کنن. این امر به اونها اجازه میده تا بزرگترین و جدیدترین ایندکس دنیا رو ایجاد و حفظ کنن.

دوم این که اونها سرمایه گذاری زیادی در مدل‌های زبانی کردن که بهشون امکان میده معنی واقعی کوئری‌ها رو حتی در مبهم‌ترین یا نادرست‌ترین حالت ممکن درک کنن.

به عنوان مثال، اونها می‌فهمن که اگه شما «قیمت فلاکس» رو جستجو کنین منظورتون «قیمت فلاسک» است.

گوگل حتی از این امر هم فراتر میره و مترادف کلمات رو درک می‌کنه.

بخاطر همینه که هنگام جستجوی «چگونه می توان از طریق اینترنت درآمد کسب کرد»، مترادف‌های پررنگی مثل «پول در آوردن از اینترنت» و «درآمد اینترنتی» رو تو نتایج مشاهده می‌کنین.

حتی تو بعضی از نتایج، اون کلمه کلیدی که سرچ کردین نمایش داده نمیشه و به جای اون، مترادف کلمه کلیدی نمایش داده میشه که این امر نشون میده گوگل می‌فهمه شما دنبال چه چیزی هستین و میدونه که این نتیجه مترادف چیزیه که شما سرچ کردین و میتونه پاسخ مناسبی به شما باشه.

سومین مورد و از همه مهمتر، الگوریتم های رتبه بندی اونها بی‌شک مرتبط‌ترین نتایج رو نسبت به هر موتور جستجویی دیگه‌ای به شما ارائه میدن.

نحوه کار الگوریتم های جستجوی Google

تا اینجای کار یاد گرفتین که موتور جستجو چطوری کار میکنه و حالا دیگه وقتش رسیده ببینیم گوگل که پرکاربردترین و رایج‌ترین موتور جستجو است چطوری کار می‌کنه.

گوگل صدها عامل رو برای یافتن و رتبه بندی محتوای مرتبط بررسی میکنه پس کارش خیلی زیاد و سخته، تازه هیچ کس هم نمی‌دونه که همه این فاکتورها چی هستن ولی خب ما تو این مقاله یه سری از اصلی‌ترین اونها رو براتون جمع آوری کردیم:

ارتباط موضوعی

گوگل اظهار کرده که وقتی یه صفحه وب حاوی کلمات کلیدی مشابه با کوئری جستجو شده باشه، به ویژه در موقعیت‌های برجسته مثل عناوین، در واقع نشونه‌ای از ارتباط موضوعیه.

البته این ایده به تنهایی برای ارتباط موضوعی ملاک نیست، برای همین هم گوگل در متن محتوای شما دنبال یه سری کلمات کلیدی مرتبط می‌گرده.

در اینجا Google توضیح داده:

وجود کلمات و عبارات مرتبط به صفحه شما کمک میکنه تا اعتماد گوگل رو درباره چیزی که نوشتین بیشتر جلب کنه.

هدف جستجو

یکی دیگه از فاکتورهایی که نشون دهنده نحوه عملکرد موتور جستجو گوگل است اینه که گوگل می‌دونه افراد فقط به یه دلیل جستجو می‌کنن. یعنی دنبال رسیدن به یه جواب مشخصی هستن. پس با درک کردن اون دلیل می‌تونه بهترین نتیجه رو براشون ظاهر کنه و ما به این هدف جستجو می‌گیم.

به عبارت دیگه، اونها برای رتبه بندی محتوایی که کاربران انتظار دیدنش رو دارن خیلی سخت کار می‌کنن.

پس Google می‌فهمه که علی رغم استفاده از زبان مشابه، ممکنه هدف جستجوها کاملاً متفاوت باشه. اینطوریه که اونها سخت کار می‌کنن تا نتایجی مطابق با سبک محتوا، نوع محتوا، قالب محتوا و زاویه محتوایی که کاربران می‌خوان ببینن، ارائه میدن.

جدید بودن

سومین فاکتوری که روی نحوه کار موتور جستجو گوگل تاثیر میذاره، تازه بودن محتواییه که تولید می‌کنین.

گوگل در جریانه که برخی از کاربران به جدید بودن یه محتوا خیلی اهمیت میدن؛ مثلاً کوئری «فیلم‌های جدید Netflix» به نتایج فوق العاده تازه نیاز داره، چون که جستجوگر می‌خواد در مورد فیلم‌ها و نمایش‌های تلویزیونی که اخیراً به پلتفرم پخش ویدئو اضافه شدن اطلاعاتی کسب کنه. در نتیجه، Google نتایج جستجویی رو که اخیراً منتشر یا به روز شدن اولویت بندی می‌کنه.

یه سری از کوئری‌های دیگه هستن که جدید بودن محتوا در اونها مهمه اما نه به اندازه قبلی، مثل «بهترین هدفون‌ها»، درسته که فناوری هدفون در حال پیشرفته اما دیگه به این صورت هم نیست که هر ماه به یه محتوای جدید احتیاج داشته باشه؛ یه مقاله از شش ماه پیش هم میتونه برای همچین کوئری مناسب به نظر برسه.

همچنین کوئری‌هایی هم وجود داره که اصلاً ربطی به قضیه جدید بودن و تازگی ندارن، مثل «چگونه کراوات بزنید»، همچین چیزی طی سالیان سال هیچ تغییری نکرده (ملت که هر چند وقت یبار کراواتشون رو به یه شکل جدید نمی‌بندن!)، پس اصلاً تازگی محتوا تو چنین مواردی برای گوگل اهمیت نداره.

کیفیت محتوا

چهارمین و آخرین فاکتوری که از نحوه عملکرد موتور جستجو گوگل براتون آماده کردیم، کیفیت محتوا است.

گوگل تلاش می‌کنه تا محتوایی که کیفیت بهتری داره رو جای بهتری از صفحه قرار بده و برای همین هم سراغ چیزی به اسم E‑A-T رفته.

حالا این E-A-T به چه معنیه؟

• تجربه و تخصص Expertise;
• اعتبار Authoritativeness و
• اعتماد Trust

بهتره بدونین که خود محتوا تنها چیزی نیست که روی E‑A-T تأثیر میذاره. مواردی مثل بک لینک دادن به یه صفحه و یا لینک سازی، می‌تونن تاثیر زیادی روی این فاکتور بذارن.

باید بک لینک ها رو به عنوان رای سایر وب سایت ها در نظر بگیرین. وقتی کسی به یه صفحه پیوند میده، یعنی داره اون قسمت از محتوا رو وارد محتوای خودش میکنه و همچنین به خواننده پیشنهاد میده که سراغش بره.

در نهایت بهتره بدونین که نحوه عملکرد موتورهای جستجو و البته گوگل خیلی پیچیده است و قطعاً به این مهربونی که براتون گفتیم نیستن، در واقع محتوای شما خیلی برای گوگل مهمه و اصلاً چیزی رو سرسری و الکی نمی‌گیره. شما می‌تونین با یه اشتباه کوچیک خیلی راحت همه تلاش‌های خودتون رو به باد بدین.

امیدوارم به جواب درستی برای سوال موتور جستجو چطوری کار میکنه رسیده باشین و بتونین خیلی خوب با موتورهای جستجو تا کنین. اگه نظر یا سوالی دارین حتماً اون رو با ما در کامنت‌ها به اشتراک بذارین.