Популярность заметок о веб-краулерах превзошла мои ожидания. Здесь, на blogspot-е, публиковать исходный код неудобно. Поэтому я открыл новый сайт: http://crawlers.info, который посвящен исключительно этой тематике. Добро пожаловать!