جزییات
حجم وسيع اطلاعات بر روي شبكه وب باعث
ميگردد تا پاسخدهي به كاوشهاي ارسالي از سوي
كاربرن، بدون دسترسي به تمام متون و فقط با استفاده از
فايلهاي نمايه صورت گيرد. بدين منظور، در سطح شبكه
از روشهاي مختلف نمايهسازي استفاده ميگردد. روش
نمايه
انتهاي كتاب، استفاده از ابردادهها، شاخههاي ء
موضوعي و ساختار متمركز و پراكنده در فنآوري
موتورهاي كاوش از روشهاي ديگر ميباشد.
بسياري از موتورهاي كاوش از يك ساختار متمركز
خزنده-نمايهساز، سود ميجونيد. خزندهها برنامههاي
نرمافزاري هستند كه عمل پيمايش وب را انجام داده و
صفحات جديد و يا به روز در آمده را به سرويسدهندهاي
كه قرار است اين صفحات در آنجا نمايه شوند، ميفرستند.
در ساختار پراكنده كه بسيار مو
ثرتر از نوع ء
متمركز است، مشكلات ناشي از استفاده از ساختار متمركز