Съдържание:
Определение - Какво означава уеб-търсач?
Уеб браузър е интернет бот, който помага в уеб индексирането. Те обхождат една по една страница през уебсайт, докато всички страници не бъдат индексирани. Създателите на уеб помощ помагат в събирането на информация за уебсайт и връзките, свързани с тях, а също така помагат при валидирането на HTML кода и хипервръзките.
Уеб браузър е известен също като уеб паяк, автоматичен индексатор или просто робот.
Techopedia обяснява Web Crawler
Търсачите на уеб събират информация като URL на уебсайта, информацията за мета маркера, съдържанието на уеб страницата, връзките в уеб страницата и дестинациите, водещи от тези връзки, заглавието на уеб страницата и всяка друга подходяща информация. Те следят URL адресите, които вече са изтеглени, за да не изтеглят отново същата страница. Комбинация от политики като политика за повторно посещение, политика за подбор, политика за паралелизация и политика за учтивост определя поведението на уеб търсача. Съществуват много предизвикателства за уеб търсачите, а именно големият и непрекъснато развиващ се World Wide Web, компромиси за избор на съдържание, социални задължения и работа с противници.
Уеб сканери са ключовите компоненти на уеб търсачките и системите, които разглеждат уеб страниците. Те помагат при индексирането на уеб записите и позволяват на потребителите да изпращат заявки срещу индекса, а също така предоставят уеб страниците, които съответстват на заявките. Друга употреба на уеб сканери е в уеб архивирането, което включва големи набори уеб страници, които периодично да се събират и архивират. Уеб сканери се използват и при извличане на данни, при което страниците се анализират за различни свойства като статистика и след това върху тях се извършва анализ на данни.
