Crawler. программа,
которая автоматически проходит по всем ссылкам, найденным на странице.Выделяет
все ссылки, присутствующие на странице. Его задача - определить, куда дальше
должен идти паук, основываясь на ссылках или исходя из заранее заданного списка
адресов. Краулер, следуя по найденным ссылкам, осуществляет поиск новых
документов, еще неизвестных поисковой системе.
