Ці програми також іноді називають “павуками” ” мандрівниками”, або ” черв′яками” і ці назви, можливо, привабливіші, проте, можуть ввести в оману, оскільки термін “павук” і “мандрівник” створює помилкове уявлення, що робот сам переміщається, а термін “черв′як” міг би подразумевать, що робот ще і розмножується подібно до інтернетівського вірусу-черв′яка.
Насправді, роботи реалізовані як проста програмна система, яка запрошує інформацію з видалених ділянок Інтернет, використовуючи стандартні мережеві протоколи.
3.1 Використання пошукових роботов
Роботы можуть використовуватися для виконання безлічі корисних завдань, таких як статистичний аналіз, обслуговування гіпертекстів, дослідження ресурсів або зазеркаліванія сторінок. Розглянемо ці завдання докладніше.
3.1.1 Статистичний Анализ
система подбора дисков по автомобилюПервый робот був створений для того, щоб виявити і порахувати кількість веб-серверов в Мережі. Інші статистичні обчислення можуть включати середнє число документів, що доводяться на один сервер в Мережі, пропорції певних типів файлів на сервері, середній розмір сторінки, ступінь зв′язаності посилань і т.д.
3.1.2 Обслуговування гипертекстов
Одной з головних труднощів в підтримці гіпертекстової структури є те, що посилання на інші сторінки можуть ставати ” мертвими посиланнями” у разі, коли сторінка переноситься на інший сервер або зовсім віддаляється.
На сьогоднішній день не існує загального механізму, який зміг би повідомити обслуговуючий персонал сервера, на якому міститься документ з силкамі на подібну сторінку, про те, що вона змінилася або вобще видалена.
Деякі сервери, наприклад, CERN HTTPD, реєструватимуть невдалі запити, викликані мертвими посиланнями разом з рекомендацією щодо сторінки, де виявлено мертве посилання, передбачаючи що дана проблема вирішуватиметься уручну.
Pages: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Tags: інформація, документ, мережа, посилання, робот, сервер, сторінка
Загальне
Схожі записи
- Огляд альтернативних пошукових систем російськомовного Інтернету (25.02.2009)
... Роботи по наділу пошукових систем людським інтелектом розробниками ведуться давно, але самі підходи вельми рознятися. Саме тому популярністю серед досвідчених користувачів мережі користуються, так звані, альтернативні пошукові системи. Це системи, бази даних яких, безперечно, істотно менше лідерів Інтернет пошуку, але їх принципи роботи відрізняються оригінальністю, закладеною розробниками. Завдяки нестандартному пошуку подібні системи не завжди, ... - Наукові пошукові системи (02.03.2009)... як краща спеціалізована пошукова система року. Дозволяє розширити пошук по своїх журналах і базах даних, об'єднавши його з одночасним пошуком в Інтернеті. Здійснює повнотекстовий пошук по статтях журналів більшості крупних іноземних видавництв (близько 17 млн. статей), статтям в крупних рхивах статей і препрінтов, науковим ресурсам Internet (більше 250 млн. проіндексованих сторінок). Багато разів визнавалася кращою ...
- Принципи роботи пошукової машини Рамблер (26.03.2009)... Чи знайшов він те, що шукав? Якщо не знайшов, то скільки разів йому довелося переформуліровать запит, щоб знайти шукане? Наскільки актуальну інформацію він зміг знайти? Наскільки швидко обробляла запит пошукова машина? Наскільки зручно були представлені результати пошуку? Чи був шуканий результат першим або сотим? Як багато непотрібного сміття було знайдено нарівні з корисною інформацією? Чи ...
- Огляд пошукових систем (17.03.2009)... На головній сторінці багато власної реклами, посилань на свої служби, яких у «Яндекса» немало. Пошта, хостинг, листівки, новини, розсилки, електронний журнал і програма передач. Скороченої версії не має. При пошуку словосполучення «Картінг-клуби» видав 11200 сторінок рівно, і серверів - не меншого 423 . Перший в пошуку був пітерський картинг-клуб, але не як результат ...
- Опис пошукової системи AltaVista com Параметри і підтримка Достоїнства і недоліки (20.03.2009)