موتور جستجو چیست؟

موتور جستجو ابزاری است که اطلاعات موردنیاز شما را از پایگاه داده‌ها و سایت‌های مختلف بر اساس الگوریتمی که دارد استخراج می‌کند و نمایش می‌دهد.

امروزه با توجه به رشد سرعت انتشار انواع داده و جستجوی کاربران، استفاده از انواع موتور جستجو افزایش‌ یافته است.

پس خیلی مهم است که این موتورها دارای الگوریتم درستی باشند تا بتوانند اطلاعات موردنیاز کاربران را دقیق و به‌ درستی نمایش دهند.

بررسی تاریخچه موتور جستجوگر

اولین موتور سرچ با نام آرچی (Archie) بوجود آمد که تنها توانایی فهرست کردن و نمایش عناوین را داشت. به همین دلیل لزوما باید فایل با نام دقیق سرچ میشد تا نتیجه ی صحیح حاصل شود.

پس از آن و به دنبال نیاز موجود دو موتور جستجوگر با نام های ورونیکا (Veronica) و جاگ هد (Jughead) با قابلیت ایندکس کردن متن بوجود آمدند.

در سال ۱۹۹۳ اولین ربات با هدف ارزیابی پیشرفت وب ایجاد شد. این ربات قابلیت جمع آوری لینک های فعال و نگهداری آنها در یک دیتابیس واحد را داشت. مشکل این ربات مختل کردن دسترسی به وبسایت ها بود.

در این میان موتور جستجوگری به نام w3catalog در اواسط سال ۱۹۹۳ به عرصه ی وب معرفی شد، اما همچنان مشکل اختلالی که ربات ها در دسترسی به وبسایت ها ایجاد میکردند حل نشده بود.

به منظور رفع این مشکل موتور دیگری با نام آلی وب (Aliweb) بوجود آمد. در این جستجوگر امکانی فراهم شد تا مالکان وبسایت خود را به صورت دستی ایندکس کنند تا نیازی به استفاده از ربات نباشد.

در اواخر همان سال بالاخره JumpStation توانست موتور جستجوگری با همه ی ویژگی های حیاتی مورد نیاز برای یک جستجوگر ارایه کند اما مشکل آن محدود بودن به هدینگ و عنوان های یک صفحه بود.

در سال ۱۹۹۴ موتور جستجوی وب کراولر با قابلیت ایندکس کردن تمام متون موجود در صفحات عرضه شد.

پس از آن موتور های جستجوگر متعددی به عرصه ی وب معرفی شدند اما تحول عظیم برای موتورهای جستجوگر اینترنت در سال ۱۹۹۶ با الگوریتمی به نام RankDex که برای امتیازدهی به سایت ها طراحی شده بود ایجاد شد.

سپس الگوریتم هایی به نام PageRank که در حقیقت ازRankDex الگو برداری شده بودند و برای رتبه بندی از بک لینک استفاده میکردند عرضه شد.

در نهایت در حوالی سال ۱۹۹۸ جستجوگری قوی با نام google.com معرفی شد که اکنون به پراستفاده ترین و محبوبترین جستجوگر در پلتفرم ها تبدیل شده است.

موتور جستجو چگونه کار می‌کند؟

برای کشف، دسته‌بندی و رتبه‌بندی میلیون‌ها وبسایتی که در فضای اینترنت وجود دارند، موتورهای جستجو باید ابتدا بطور دقیق بفهمند چه نوع اطلاعاتی در دسترس است و در گام بعدی، آن اطلاعات را بطور منطقی به کاربران ارائه دهند.

این فرآیند ازطریق 3 اقدام بنیادی انجام می‌پذیرد:

1. کرال کردن (Crawling)
2. ایندکس کردن (Indexing)
3. رتبه‌بندی کردن (Ranking)

با استفاده از این اقدامات، موتورهای جستجو محتواهای تازه منتشر شده را کشف می‌کنند، آن‌ها را در پایگاه داده خود ذخیره می‌کنند و در نهایت برای استفاده کاربران طبقه‌بندی می‌کنند.

کرال کردن: موتورهای جستجو ربات‌هایی در اختیار دارند که به خزنده (Crawler) و عنکبوت نیز معروفند.

آن‌ها ربات‌های خود را برای ارزیابی محتوای وبسایت‌های تازه ایجاد شده و یا محتواهایی که به تازگی تغییر کرده باشند ارسال می‌کنند.

وظیفه این ربات‌ها این است که صفحات وب را به دقت بررسی کنند تا دریابند که هر کدام در چه زمینه‌ای بوجود آمده‌اند و چه موضوعی دارند.

سپس، با دنبال کردن لینک‌های موجود در صفحات، به صفحات دیگر رفته و آن صفحات را نیز کرال می‌کنند.

ایندکس کردن: بعد از اینکه یک وبسایت کرال شد، موتورهای جستجو باید تصمیم بگیرند که چطور آن اطلاعات را طبقه‌بندی کنند.

فرآیند ایندکس کردن به ذخیره‌سازی صفحات کرال شده در دیتابیس‌های موتورهای جستجو گفته می‌شود.

هر موتور جستجو دیتابیس مخصوص به خود را دارد.

رتبه‌بندی کردن: وقتی یک کاربر جستجویی انجام می‌دهد، موتورهای جستجو به سراغ دیتابیس خود رفته تا اطلاعات مرتبطی را از بین تمام آن صفحاتی که قبلا ایندکس کرده بودند، ارائه کنند.

اما این اطلاعات به چه ترتیبی باید ارائه شوند؟ تمام صفحات یافت شده، براساس یک سیستم رتبه‌دهی برای کاربران فهرست می‌شوند و به هیچ وجه ترتیبی تصادفی ندارند.

موتورهای جستجو فرآیند رتبه‌بندی را با در نظر گرفتن فاکتورهای مختلف و براساس کیفیت و مرتبط بودن با کوئری کاربر انجام می‌دهند.

انواع موتور جستجو چیست؟

وقتی اسم موتور جستجو می‌آید، اولین اسم (سایتی) که در ذهن همه به وجود می‌آید، گوگل است؛ اما امروزه موتورهای جستجو بیشتر از گذشته شده است و هرکدام نیز کارایی مربوطه و خاص خود را دارد.

در حالت کلی انواع موتور جستجو را می‌توان به دو نوع زیر تقسیم‌بندی کرد:

• موتور جستجو بر اساس خزیدن در سایت‌ها و پایگاه داده‌ها
• دایرکتوری‌ها

موتور جستجو بر اساس خزیدن

یکی از دسته کلی انواع موتور جستجو است که برای خزیدن در سایت دارای یک ربات عنکبوتی است و در سایت‌ها، مخصوصاً وب‌سایت‌های جدید خزش می‌کند و بر اساس کلمه کلیدی و دیگر معیارها شاخص گذاری می‌کند و اگر مشکلی نداشته باشد، آن را به پایگاه داده خود برای نمایش به کاربران ذخیره می‌کند. گوگل یکی از نمونه این سایت‌ها است.

دایرکتوری‌ها

دایرکتوری‌ها یکی از انواع موتور جستجو است که اطلاعاتی شامل کسب‌وکارها، فعالیت‌ها و غیره را بر اساس دسته‌بندی خاصی که دارند، ذخیره می‌کند. یکی از نمونه این سایت‌ها را می‌توان یاهو نام برد.

• ابتدا مالک کسب‌وکار و غیره، اطلاعات فعالیت خود را بر اساس نوع کار خود در یکی از فهرست‌های دایرکتوری ثبت می‌نماید. همچنین کلمات کلیدی متناسب نیز تعیین می‌شود.
• بعدازاینکه لینک سایت و اطلاعات خود را ثبت کرد، اطلاعات او بر اساس فهرستی که قرار داده است، توسط مدیران دایرکتوری بررسی و تائید می‌شود.

شش موتور جستجوگر اینترنتی پرطرفدار در جهان

1 . گوگل Google

با دارا بودن 75 درصد از سهم بازار سرچ در جهان، کمتر پیش می آید که بخواهیم خواننده ای را با گوگل آشنا کنیم.

واضح است که گوگل، در صدر هر لیست مربوط به موتورهای جستجو قرار دارد.

این موتور جستجو به عنوان یک پروژه تحقیقی توسط سرجی برین و لری پیج، درسال 1999 ساخته شد.

آنها خواستار فروش موتور خود به شرکت اکسایت درسال 1999 با مبلغی هنگفت معادل 750 هزار دلار بودند. اما این پیشنهاد پذیرفته نشد و گوگل را درصدر جدول بدنام ترین بیزنس ها قرار داد.

مزایا و معایب

یکی از دلایلی که در رتبه بندی گوگل در صدر جدول موثر بوده، پتانسیل ترافیک حجیمی است که گوگل ایجاد می کند. اما این مسئله یک مشکل هم دارد و آن این است که همه خواستار این ترافیک هستند، از این رو سرچ ارگانیک پر رقابت ترین، و سرچ های پرداختی از جاهای دیگر گران تر هستند.

2 . یوتیوب YouTube

یوتیوب در سال 2005 توسط کهنه کاران « PayPal » پایه گذاری شد و سال بعد توسط گوگل خریداری شد ( همین باعث شد تا گوگل روی دو موتور جستجو برتر لیست ما، کنترل کامل داشته باشد.)

یوتیوب بیشتر از یک و نیم میلیارد کاربر فعال در ماه داشته، و حدود یک میلیارد ساعت ویدئو دراختیار کاربران می گذارد

اگر کنجکاو هستید که بدانید چه ویدئویی برای اولین بار دریوتیوب به اشتراک گذاشته شد، باید بگوییم کلیپی 19 ثانیه ای از مدیر عامل یک باغ وحش است ( با حدود 41 میلیون تعداد بیننده. )

مزایا و معایب

استفاده از یوتیوب در تولید ترافیک را نمی توان برای دستیابی به موفقیت دست کم گرفت. البته با آپلود بیش از 300 ساعت ویدئو در دقیقه، قد علم کردن میان این همه ترافیک و تبلیغات، چالش برانگیز خواهد بود.

با وجود موقعیت های هزینه پرداز کلمات تبلیغاتی ( Adword ) گوگل، این پیشرفت و موفقیت می تواند هزینه نسبتا هنگفتی را به شما تحمیل کند.

با وجود این، اگر که بتوانید جوامع و گروه هایی را که در یوتیوب تحت پوشش کمپین های فوق العاده ای مثل GoPro و BlendTec هستند بیابید، می توانید با هزینه بسیار پایین تر، بصورت فوق العاده مورد توجه و دید همگان قرار بگیرید.

3 . آمازون Amazon

آمازون یکی از شش موتور جست جو پر طرفدار است که در سال 1995 راه اندازی شد از این رو به عنوان یکی از اولین کمپانی های بزرگی که توانست محصولات را بصورت آنلاین بفروشد، شناخته می شود.

در ابتدا، آنها کار خود را با فروش کتاب شروع کردند ولی کسب و کارشان سریعا گسترش یافت. در سال 1999، پایه گذار ” جف بزوس “، جایزه شخص سال مجله تایمز را برای گسترش و عمومی سازی خرید آنلاین، از آن خود کرد.

سال قبل هم اعلام شد که نیمی از تمام سرچ های مربوط به خرید آنلاین، بدون استفاده و دخالت گوگل، در آمازون انجام شده است.

در این شرایط از یک چیز می توان مطمئن بود و آن افزایش آمار و ارقام روز افزون آمازون در حال و آینده است.

مزایا و معایب

مزیت آن مانند گوگل، در مقیاس مشخص و نسبتا برابری است. آمازون بهترین مکان برای معرفی کسب و کار است.

در واقع، بعضی افراد پیشنهاد می دهند که اینکار را درگوگل، با استفاده از هزاران محتوا و توضیحات در مورد محصولتان انجام دهید،

ولی زمانی که شما این کار را در آمازون انجام می دهید، دیگر نیازی به تبادل اطلاعات و آن همه معرفی و محتوا ندارید.

4 . بینگ Bing

بینگ به عنوان پاسخ مایکروسافت به گوگل در سال 2009، با سرچ MSN، تعویض شد.

بعد از شروع با در اختیار داشتن تنها 8.4 درصد سهم سرچ در بازار، توانست به رشد 10 درصدی برسد و هنگام تقویت سرچ یاهو، تا 28.1 درصد هم ارتقا یافت. در سال 2016، آنها قابلیت استفاده از AOL را در اختیار سایت هایی که نتایج سرچ هایشان را تامین می کردند، گذاشتند.

این اقدامات آنها را به یکی از مدعیان واقعی در این زمینه تبدیل کرد، به علاوه داده های جدیدی از سوی مایکروسافت ارائه داد که نشان می دهند آن ها 33 درصد از سرچ های کل ایالات متحده آمریکا را تحت پوشش خود دارند.

بینگ اقدامات زیادی را در زمینه تبلیغات برای رقابت با گوگل انجام داده است، برای مثال اضافه کردن ویژگی های جدیدی به تبلیغات مخصوص به خود یعنی ” تبلیغات بینگ ” ( تغییر ورودی Adword ها به کیووردهای مرتبط به هم )، همچنین بهبود گزارشات برای حفظ استانداردهای سیستم ها و دریافت کمک از برخی مدیرانی که در زمینه Adword ها مطالعه داشته اند

مزایا و معایب

درحالی که بینگ حجم اشتراک گذاری کمتری نسبت به گوگل دارد، اما در بازارهای زیادی قابل احترام است.

در واقع الگوریتم های بینگ مانند گوگل پیچیده نیستند و این ویژگی باعث درک بهتر، پیش بینی بهتر، و بهینه سازی آسان تر آنها خواهد شد. هر چند نمی توان این موضوع را برای بینگ نقطه قوت در نظر بگیریم، اما مطمئن هستیم که این ویژگی ها تا چند سال آینده، در بینگ باقی خواهند ماند.

بدلیل حجم کم ترافیک، تعداد متخصصانی که در زمنیه بهینه سازی موتور جستجو (SEO) فعالیت می کنند و در لیست 10 عنوان برتر رنکنگ قرار دارند هم کم است.

از لحاظ تبلیغاتی، تعداد سیستم های پیچیده کمتری برای سروکارداشتن با آنها وجود دارد، اگر چه که بینگ همواره درحال تلاش برای رسیدن به گوگل است.

بدلیل حجم کمتر و آسان بودن استفاده از گروه و مجموعه Adword ها، اگر CPC کمتری داشته باشید، به راحتی میزان ترافیک شما کاهش خواهد یافت.

5. بایدو Baidu

بایدو درسال 2000 راه اندازی شد. بایدو موتور جستجو داخلی چینی است که در چین بیش از 82 درصد سهم سرچ ها را شامل می شود. درحالی که گوگل با 0.61 درصد، و بینگ با 0.37 درصد در صدر جدول قرار می گیرند.

آنها سرمایه گذاری های بزرگی در زمینه هوش مصنوعی و طراحی ساختار انجام داده اند. ( بسیاری از افراد باید ازآنها تقلید کرده و یا با آنها رقابت کنند تا بتوانند بیشترین پتاسنیل رقابت پردازی و پول سازی کمپانی را به اجرا درآورند)

بیرون از چین، بایدو جلوه خاصی ندارد. در خود کشور چین، بیدو حدود 3.3 میلیارد سرچ را در روز پشتیبانی می کند.

مزایا و معایب

یکی از مشکلات بیدو این است که با استفاده از آن تنها به یک بازار یا مارکت دسترسی خواهید داشت. اما نقطه قوت آن این است که بازاری بزرگ و وسیع را در اختیار شما می گذارد.

با این حال، بسیار مهم است که بدانید دسترسی به بازار چین مانند هیچ یک از مارکت های دیگر نیست ( که این نفرین SEO بین المللی است! ). شکل و شمایل، متون و سلایق، همگی متفاوت اند در رابطه با این مشتری ها دیگر و گوگل ترنسلیت نمی تواند کمکی به شما کند.

برای دسترسی به بازار چین از طریق بایدو، در تیم خود به کسی نیازمندید که هم به این زبان صحبت کند، و هم مارکتینگ را در فرهنگ چین از بر باشد ( نه کسی که تنها دو یا سه ترم کلاس زبان چینی رفته باشد).

درکل، الگوریتم های اصلی آن بسیار ساده تر از گوگل هستند و استفاده از سیستم های پرداخت بایدو زمانی که وارد چین شدید می توانند آسان تر باشند، البته اگر در خارج از کشور چین باشید، معامله های سختی در انتظار شماست.

6 . یاندکس Yandex

یاندکس ریشه در پروژه ای برای ثبت اختراع دو توسعه دهنده روسی در سال 1990، توسط شرکت آرکادیا دارد.

عبارت یاندکس در سال 1993 طراحی و دامنه Yandex.ru درسال 1997 راه اندازی شد.

درسال 2011 در سازمان بورس نیویورک، آنها با عرضه سهام اولیه خود، توانستند پولی معادل با 1.3 میلیارد دلار دست و پا کنند که درآن زمان دررتبه دوم ( بعد از فروش سهام گوگل ) قرار می گرفتند. درحال حاضر، یاندکس حدود نیمی از سرچ های روسیه را تحت پوشش خود دارد.

مزایا و معایب

همانند بقیه موتورهای نسبتا کوچک ( در مقایسه با گوگل )، در یاندکس ترافیک کمتری مشاهده می کنید اما رقابت، چه از نظر ارگانیک و چه پرداختی، در این موتور جستجو آمار کمی دارد.

الگوریتم های مورد استفاده در یاندکس نسبت به گوگل ، پیچیدگی کمتری دارند و همین امر باعث می شود تا بهینه سازی آن آسان تر باشد.