تاریخچه موتورهای جستجو در سئو که چگونه بهینه شدند؟

حتما برای شما هم اتفاق افتاده است که بعد از جستجوی یک موضوع در گوگل از نتایج آن شگفت زده شده باشید و این طور بنظر برسد که موتورهای جستجو می توانند ذهن شما را بخوانند، از موقعیت شما خبر دارد و یا جنسیت و سن شما را می دانند. این سطح از هوش موتورهای جستجو حاصل سالها تلاش متخصصین برای بهینه سازی موتورهای جستجو است. در این مطلب از وبتو قصد داریم تاریخچه سئو و موتورهای جستجو را بازگو کنیم.

تاریخچه گوگل

اولین جرقه برای ایجاد موتورهای جستجو در سال 1945 توسط فردی به نام وانوار بوش زده شد. دکتر وانوار بوش که مدیریت دفتری به نام تحقیقات و توسعه علمی را به عهده داشت، مقاله ای به نام As We May Think را در ماهنامه آتلانتیک نوشت. او در این مقاله نوعی ماشین حافظه جمعی را توصیف کرد که دانش را در دسترس تر می کند. او امیدوار بود از طریق این ماشین انفجار اطلاعات به انفجار دانش تبدیل شود. کارشناسان زیادی معتقدند که ایده اصلی موتورهای جستجو، دایره المعارف های آنلاین، هایپر لینک، تشخیص گفتار، رایانه های شخصی و غیره از این مقاله نشات گرفته شده است.
چند دهه بعد در سال 1990، دانشجویی از دانشگاه مک گیل به نام آلن امتیج برنامه ای به نام Archie را بوجود آورد که امکان جستجوی فایلهای موجود در یک یا چند سرور را ایجاد کرد. بیل اسلاوسکی، رئیس و بنیانگذار SEO by the sea برنامه آرچی را بهترین راه حل آن زمان برای یافتن اطلاعات از سرورهایی در سراسر اینترنت می دانست.
در دهه 90 شاهد چندین تحول اساسی بودیم که موجب شکل گرفتن نسخه های تجاری تری از موتورهای جستجو شد. برای آشنایی بیشتر شما در ادامه مهمترین موتورهای جستجوی دهه 90 میلادی را معرفی می کنیم.

• در فوریه 1993 شش دانشجوی دانشگاه استنفورد موتور جستجو Excite را بوجود آوردند. برخی کارشناسان معتقدند این موتور جستجو در نحوه فهرست بندی اطلاعات انقلابی بوجود آورد.
• در ژوئن 1993 فردی به نام متیو گری برای اولین بار World Wide Web Wanderer را معرفی کرد که بعدها به نام Wandex شناخته شد.
• در اکتبر 1993 مارتیجن کاستر هلندی موتور جستجوی AliWeb را معرفی کرد که از الگوریتمی به نام گوفر استفاده می کرد.
• در دسامبر 1993 حداقل سه موتور جستجو به نام های JumpStation، RBSE spider و World Wide Web Worm معرفی شدند. این موتورهای جستجو به ربات مجهز بودند و از ربات های خود برای خزیدن در سرورها و محتوای سایت ها استفاده می کردند.
• در سال 1994 موتورهای نام آشنایی همچون Alta Vista، Infoseek، Lycos و Yahoo به ثمر نشستند.
• در سال 1996 لری پیچ و سرگئی برین، بنیانگذاران گوگل، شروع به ساخت موتور جستجویی کردند که در ابتدا نام آن را Back Rub گذاشته بودند.
• در آوریل 1997 موتور جستجوی AskJeeves معرفی شد که بعدا به Ask.com تغییر نام داد.
• و بلاخره در سپتامبر 1997 google.com به عنوان یک دامنه ثبت شد.

موسسین گوگل چه کسانی بودند

در جهان امروز، تکنولوژی با سرعت زیادی در حال گسترش است و هر روزه شاهد اتفاق شگرفی در حوزه تکنولوژی هستیم. یکی از شرکت هایی که توانسته است در حوزه فن آوری های اینترنتی معروفیت زیادی را کسب کند، شرکت نام آشنای گوگل است. لری پیچ و سرگئی برین گوگل را بوجود آوردند.
لری پیچ در سال 1973 میلادی در ایالت میشیگان آمریکا به دنیا آمد. مادر لری یک برنامه نویس کامپیوتر بود و پدرش دارای مدرک دکترای علوم کامپیوتر بود و در دانشگاه میشیگان تدریس می کرد.
سرگئی برین در سال 1973 در مسکو و یک خانواده یهودی به دنیا آمد. مادر او یک اقتصاددان و پدرش ریاضیدان بود. برین در سن شش سالگی به همراه خانواده به آمریکا مهاجرت کرد.
لری و برین در یک دانشگاه تحصیل می کردند. و در دوره دکترا بر روی پروژه ای به نام Backrub همکاری کردند. این پروژه توسط زبان های برنامه نویسی جاوا و پایتون نوشته شد و بعدا تبدیل به یکی از غول های اینترنت به نام گوگل شد.
این دو دوست بر روی یک الگوریتم رتبه بندی صفحات وب کار کردند که موجب ایجاد یک موتور جستجوی قوی تر از مدل های قبلی می شد. آنها در سال 1996 صفحه جستجوی خود را در سایت دانشگاه استنفورد قرار دادند تا اینکه در سال 1998 موتور جستجوی آنها مورد پسند همگانی قرار گرفت و روزانه تا 10 هزار درخواست را دریافت می کرد. در همین سال آنها کمپانی خود را تاسیس و نام آن را گوگل گذاشتند.
همانطور که می دانید گوگل اشاره ای به عدد googol در ریاضیات دارد که شامل عدد 1 و هزار صفر در جلوی آن است. و اشاره به تعداد زیاد صفحاتی دارد که گوگل آنها را مورد بررسی قرار می دهد.

دلیل پیدایش گوگل

تا قبل از پیدایش گوگل، موتورهای جستجو غالبا بصورت کتابخانه مجازی وب عمل می کردند. و نتایج آنها با درخواست کاربران همخوانی نداشت و کاربران را مجبور می کرد تا زمان زیادی را صرف جستجو کنند. در این شرایط گوگل با یک تفکر جدید، توجه همگان را به خود جلب کرد. گوگل برای اینکه نتایج جستجو به هدف شما نزدیکتر باشد رتبه بندی صفحات وب را محور اصلی خود قرار داد. با این دیدگاه کاربران در نتایج جستجوی خود ابتدا سایت هایی را می دیدند که هم به هدف جستجوی شان نزدیک بود و هم بازدید بیشتری داشتند.
در واقع وظیفه موتور جستجوی گوگل، تحلیل لینک های ارجاع شده به یک سایت بود و بر اساس تعداد لینک های ورودی عددی بین 0 تا 10 را به آن سایت تخصیص می داد که عدد 10 دارای بیشترین ارزش و نشان دهنده تعداد زیادی لینک ورودی بود. استفاده از این تکنولوژی در آن زمان تحول عمیقی در جستجو بوجود آورد به گونه ای که برای جستجو در اینترنت حتی کاربران کم تجربه نیز می توانستند اطلاعات مورد نیاز خود را به راحتی پیدا کنند.

انقلابی به اسم سئو در گوگل

همانطور که قبلا اشاره کردیم دهه 90 میلادی، دهه شکل گیری موتورهای جستجو بود و با اتصال شبکه های مختلف به اینترنت، جستجوی اطلاعات ساده تر شد، اما همچنان یک مشکل بزرگ وجود داشت، کیفیت نتایج جستجو پایین بود. هر چند نتایج موتورهای جستجو با کلمات مورد نظر کاربر مطابقت داشت، اما نیاز او را برآورده نمی کرد. مدیران سایتها برای افزایش رتبه خود، صفحات سایتها را بدون توجه به کیفیت مطالب از کلمات کلیدی تکراری پر می کردند تا ترافیک اینترنت را به سمت صفحات خودشان هدایت کنند و از طرفی برخی سایتها با یکدیگر تبانی می کردند و از لینک های اسپم برای بهبود رتبه بهره می بردند.
در سال 1998، پیچ و برین در مقاله ای با عنوان «آناتومی یک موتور جستجوی وب فرامتنی در مقیاس بزرگ» نوشتند: مدل غالب کسب و کار برای موتورهای جستجوی تجاری، تبلیغات است. اهداف مدل کسب و کار تبلیغاتی همیشه با ارائه جستجوی با کیفیت به کاربران مطابقت ندارد. در همان مقاله پیچ و برین برای اولین بار به الگوریتم page rank اشاره کردند، فناوری که گوگل از آن برای کمک به رتبه بندی نتایج جستجو بر اساس کیفیت و نه فقط بر اساس کلمات کلیدی استفاده کرد. و با همین فناوری بود که گوگل مفهوم سئو را به موتورهای جستجو افزود و انقلابی در نحوه رتبه بندی جستجو ها بوجود آورد.

اوایل دهه 2000 شاهد گسترش گوگل در سطح جهانی بودیم. با این تفکر که موتورهای جستجو از تبلیغات کمتر استفاده کنند و سایت ها بدون هیچ گونه رفتار فیشینگ رایج در دهه 90 رتبه بندی شوند.
جالب است بدانید با تمام پیشرفتی که با آمدن گوگل حاصل شده بود در سال 2000 انجمن moz در مورد گوگل و نحوه جدید رتبه بندی آن گفته بود: دستورالعمل ها هنوز تاثیر واقعی بر رتبه بندی نداشته اند و علت اصلی آن رتبه بندی صفحات بر اساس تعداد پیوندهای ورودی به یک سایت است و هر چقدر تعداد آنها بیشتر باشد رتبه بندی بهتری خواهد داشت. و همچنین وبلاگ فناوری بازاریابی در همان سال گفته بود: هنوز می توان از تکنیک های بک لینک برای رتبه بندی صفحاتی که حتی با معیارهای جستجو مرتبط نیستند بهره برد. انتقاد هر دو انجمن درست بود. گوگل در آن سالها هنوز راهی برای اندازه گیری اعتبار لینکها نیافته بود، اما طبق گفته برین و پیچ تفاوت اصلی گوگل با موتورهای جستجوی قبلی، به نحوه نگاه این گوگل مربوط است. گوگل به وب به عنوان یک کل، و نه فقط کلماتی که در هر صفحه وجود دارد نگاه می کرد و همین نگاه اساس بروز رسانی های بعدی، همچون بروزرسانی فلوریدا شد.
در سال 2003 گوگل با بروزرسانی جدید خود به نام فلوریدا، طوفانی را در سئو و الگوریتم های رتبه بندی ایجاد کرد. اما هدف گوگل از این بروز رسانی چه بود؟ با دستکاریهای زیادی که سئو کارها در لینک های ورودی و تبادل لینک انجام می دادند، کیفیت نتایج جستجوها برای گوگل قابل تضمین نبود. به همین خاطر آپدیت فلوریدا را برای سخت کردن دستکاری ها و بهبود نتایج انجام داد. فلوریدا نتایج جالبی را به دنبال داشت. با بروز رسانی فلوریدا، سایت های بسیار زیادی که دارای رتبه های خوبی بودند، به علت استفاده از لینک های اسپم از لیست جستجو ها حذف شدند و به همین خاطر کسب و کارهای بسیاری دچار زیان های شدید شدند. از این سال به بعد گوگل بروزرسانی های خود را در بازه های کوتاه تری انجام داد. و مدیران وب سایت ها هم تلاش کردند برای بهبود رتبه سایت خود، بجای کمیت بر کیفیت تمرکز کنند.

دلیل پیدایش سئو

اگر تا اینجای مطلب همراه ما بوده باشید می دانید که دلیل پیدایش سئو، نمایش نتایج با کیفیت تر برای جستجوی کاربران است. سئو در دهه 90 میلادی همزمان با بوجود آمدن موتورهای جستجو شکل گرفت، اما اولین بار در سال 1997 میلادی جان اودت از گروه بازاریابی چند رسانه ای از اصطلاح سئو برای بهینه سازی موتورهای جستجو استفاده کرد. همانطور که اشاره شد با ظهور گوگل و همچنین با بروز رسانی فلوریدا در سال 2003، انقلابی در سئو شکل گرفت. در ادامه به مهمترین و محوری ترین اقدامات مرتبط با سئو می پردازیم.
سال 2005 از سال های مهم سئو است. در این سال گوگل با شرکت های یاهو و msn برای استفاده از ویژگی nofollow متحد شد. با این اتحاد تا حد زیادی لینک های اسپم در وب سایت ها و وبلاگ ها کاهش یافت و همچنین گوگل از جستجوی شخصی سازی شده خود رونمایی کرد که با استفاده از آن، تاریخچه جستجو و مرور کاربران برای نتایج نهایی استفاده شد.
در سال 2009 مایکروسافت موتور جستجوی bing را معرفی کرد و با تبلیغات گسترده مدعی نتایج بهتر نسبت به گوگل شد. اما همانطور که نشریه Search Engine Land پیش بینی کرده بود نتایج جستجو و پیشنهادات آن تفاوت زیادی با گوگل نداشت و تنها تفاوت قابل توجه آن تمایل bing به اولویت دادن کلمات کلیدی url ها، کلمات بزرگ و صفحات سایت های بزرگ تر بود. در این سال واقعه جالب دیگری هم اتفاق افتاد. گوگل در نتایج خود بصورت ملموس به پوشش توییت ها و اخبار فوری، اقدام کرد. گوگل با این حرکت تایید کرد که سئو دیگر مختص وب سایت ها نیست و از آن سال به بعد روزنامه نگاران و شبکه های اجتماعی هم در این رقابت سهیم شدند.

در سال 2011 الگوریتم پاندا توسط گوگل معرفی شد و هدف آن مبارزه با محتوای کوتاه و بی کیفیت بود. از دلایل اصلی معرفی پاندا می توان به تیتری از روزنامه معتبر business insider اشاره کرد که در سال 2011 و در پی نارضایتی کاربران گوگل نوشت: الگوریتم جستجوی گوگل مخروبه شده است. وقت علاج است. الگوریتم پاندا برای مبارزه با محتوای بی کیفیت سایت ها ایجاد شد. و رتبه سایت هایی که محتوای آنها غیر مفید و یا کپی شده از سایر سایت ها بود را پایین آورد و از طرفی رتبه صفحاتی با محتوای مفید، با کیفیت و با اصالت را افزایش داد.
سال 2012 گوگل در مسیر بهینه سازی موتور جستجوی خود، الگوریتم پنگوئن را رونمایی کرد. وظیفه اصلی این الگوریتم جدید مبارزه با سایت هایی بود که برای بهبود رتبه سایت خود از لینک های غیر طبیعی و اسپم استفاده کرده بودند.
الگوریتم کبوتر محصول سال 2014 بود که تاثیر زیادی در رتبه بندی سایت ها بر اساس موقعیت مکانی آنها داشت.
الگوریتم rank brain در سال 2015 معرفی شد و بر اساس گفته خود گوگل، جزء سه الگوریتم مهم رتبه بندی سایت ها است. این الگوریتم که در واقع اوج هنرنمایی گوگل نیز محسوب می شود، تلاش می کند تا معنی کلماتی را که نمی داند حدس بزند و یا کلمات هم معنی را پیدا کند و بر اساس آن جستجو را انجام دهد.
روند بهینه سازی الگوریتم موتورهای جستجو تا به امروز ادامه پیدا کرده است تا بتواند به بهترین شکل اطلاعات مورد نظر مخاطبان را از کتابخانه بی انتهای وب جستجو و نمایش دهد. گوگل نیز به عنوان پیشتاز عرصه سئو، همه ساله در تلاش است تا الگوریتم های جدیدی را ابداع کند تا حجم بالای داده موجود را مدیریت کند و رتبه بندی های با کیفیتی را با توجه به شرایط هر کدام از مخاطبان ارائه کند.