انواع موتورهای جستجو

موتورهای جستجو را بشناسید!

بیشتر کاربران برای یافتن اطلاعات موردنیاز، از موتورهای جستجو مثل؛ یاهو با گوگل استفاده می کنند. وقتی جستجویی در موتور جستجوگر انجام میگیرد. و نتایج ارایه میشود. به این شکل است. که همه موتورهای جستجو در زمان پاسخ گویی به جستجو های کاربران، تنها در پایگاه داده ای با توجه به کلمات کلیدی که در اختیار دارند. به پاسخ میپردازند. کلمات کلیدی بین اطلاعات موجود در فایل ها، سندهای وب جهانی، گروه های خبری و آرشیو های FTP جستجو می شوند.

انواع موتورهای جستجو

موتورهای جستجو به سه دسته تقسیم می شوند.

• مبتنی بر پیمایش ( Crawler- Based )
• مبتنی بر فهرست ( Directory – Based )
• ترکیبی (Hybrid)

✔مبتنی بر پیمایش:

مثل گوگل فهرست را بصورت خودکار تشکیل می دهند. در کل وب میگرد. و مجموعه ای از اسناد و اطلاعات را رده بندی و ذخیره می کند. و بعد، کاربران از میان اطلاعات ذخیره شده، آنچه را که می خواهند. را جستجو می کنند.

✔مبتنی بر فهرست:

در این حالت، جستجو فقط روی توضیحات ثبت شده صورت میگیرد. و تغییری در صفحه های وب، روی فهرست به وجود نمی آید.

✔ترکیبی:

موتور جستجوی ترکیبی در صورت نمایش نتیجه جستجو از هر یک از دسته های فوق (مبتنی بر پیمایش و فهرست) نتایج حاصل از دسته دیگر را هم مورد توجه قرار می دهد.

معماری کلی موتور جستجو

شامل فرایند جلو و پشت (Back – end) میباشد. در فرایند اول، کاربر کلمه موردنظر را در رابطی مانند؛ صفحه جستجوی گوگل وارد می کند. و بعد؛ برنامه کاربردی درخواست جستجو را به شکل یک فرم قابل فهم برای موتور جستجو تبدیل میکند. جستجو در یک پایگاه داده فایل های شاخص انجام میگیرد. و سایت هایی که عبارت مورد نظر در آنها وجود دارد. بر اساس میزان ارتباط رتبه بندی (Ranking) و بشکل لینک برای کاربر نشان داده می شوند. این پایگاه داده شامل چند جدول بوده. که برای کمک به بازیابی سریع داده ها بکار می رود. 

در فرایند دوم، که در واقع پشت صحنه انجام می شود. یک برنامه عنکبوت (Spider) یا همان ربات، بطور دوره ای در میان صفحه های وب پیمایش میکند. و آنها را از اینترنت جدا می نماید. و در زیر سیستم شاخص گذاری صفحه ها را آنالیز و در پایگاه داده فایل های شاخص ذخیره می کند.

فایل robots.txt

این فایل متنی بر سرویس دهنده وب و در شاخه اصلی (root) وبسایت قرار دارد. و امکان دستیابی به قسمت های مختلف سایت را مشخص می کند. در واقع این فایل زحمت پیمایش خزنده (Crawler) را کم می کند. این فایل با خطوط زیر شروع می شود.

User-agent:
Disallow:

خط اول نام برنامه راهنمای وب سایت را می کند. در خط دوم فایل ها و شاخه هایی فهرست می شود. که نباید توسط برنامه خزنده بازدید شوند. اگر شخصی نخواهد هیچکدام این قسمت از سایت او در فهرست جستجو بیاید. و بازدید شود. می تواند دو خط زیر را در فایل robots.txt اضافه کند.

User-agent: *
Disallow: /