Съдържание:
Определение - Какво означава Spider?
В контекста на Интернет, паякът е специализиран софтуер, предназначен за систематично обхождане и сърфиране в World Wide Web, обикновено с цел индексиране на уеб страници, за да ги предостави като резултати от търсенето на потребителски заявки за търсене. Най-известният от такива паяци е Googlebot, основният робот на Google, който помага да се гарантира, че съответните резултати се връщат при заявки за търсене.
Паяците са известни още като уеб сканери, ботове за търсене или просто ботове.
Техопедия обяснява Паяка
Паякът е по същество програма, използвана за събиране на информация от световната мрежа. Той обхожда страниците на уебсайтове, извличайки информация и индексирайки я за по-късна употреба, обикновено за резултати от търсачките. Паякът посещава уебсайтове и техните страници чрез различните връзки към и от страниците, така че страница без нито една връзка към нея ще бъде трудно да се индексира и може да бъде класирана наистина ниско на страницата с резултати от търсенето. И ако има много връзки, сочещи към дадена страница, това би означавало, че страницата е популярна и ще изглежда по-висока спрямо резултатите от търсенето.
Стъпки, участващи в обхождането в уеб:
- Паякът намира сайт и започва да обхожда страниците му.
- Паякът индексира думите и съдържанието на сайта.
- Паякът посещава връзките, намерени в сайта.
Паяците или webcrawlers са просто програми и като такива те следват систематични правила, зададени от програмистите. Собствениците на уебсайтове също могат да се свържат с това, като кажат на паяка кои части от сайта да индексират и кои не. Това става, като се създаде файл "robots.txt", който съдържа инструкции за паяка относно кои части да индексира и връзки да следва и кои трябва да игнорира. Най-значимите паяци там са тези, които са собственост на големи търсачки като Google, Bing и Yahoo, и тези, предназначени за извличане на данни и изследвания, но има и някои злонамерени паяци, написани за намиране и събиране на имейли, които потребителят може да продава на компаниите или да намерите уязвимости в уеб сигурността.
