За последние два года во всем мире было сгенерировано (создано) более 95% всего контента. Это видео, музыка, текст. С одной стороны это хорошо, с другой рынок сбора и анализа этого контента тоже неимоверно вырос.
Если есть контент, то его надо кому то собирать и анализировать. Зачем?
Ну например, какому то агенству недвижимости надо собрать статистику о том, какие квартиры сейчас пользуются наибольшим спросом. Один из вариантов получения этих данных, это их сбор с Интернет досок объявлений.
Или продюсеру надо узнать какая музыка сейчас в тренде. И чтоб не проводить социологические опросы, этот продюсер заказывает сбор статистических данных по просмотрам и лайкам с ютуб. Легко и просто. Кого всех больше слушаю, какой песне поставили всех больше лайков, то и нравится обычным людям.
Сбор таких данных дешевле и быстрее опросов.
Так же всевозможные компании постоянно анализируют поисковую выдачу и различные сайты на упоминание их бренда или же конкурентов. Ведь чем быстрее ответишь на действие конкурента или критику в свой адрес, тем лучше.
Сбор таких данных дешевле, надежнее и быстрее опросов людей на улицах или обхода по квартирам с опросником.
Но, при таком росте контента и таком количестве работы у сборщиков и анализаторов этих данных, возникает ряд проблем. В частности это проблема в многопоточной работе. Так как данных на самом деле много, и быстрее работать не с одного IP (его еще могут и заблокировать), а с множества, тем самым обходя запрет на многопоточное подключение к ресурсу с одного IP.
В основном в рунете для этих нужд используются прокси сервера.
Прокси сервер это если по простому, посредник между клиентом и сайтом, который ко всему прочему еще и позволяет сменить IP.
И если всякие хакеры для этого используют ботнет сети (это когда тот самый посредник, по сути обычный компьютер, радового пользователя, но зараженный троянской программой, и он естественно не знает о том что через его кто-то работает), то легальные фирмы предпочитают настоящие прокси сервера.
Одной из самых известных и самой крупной, является компания Buy.Fineproxy.org. Это не просто компания которая вот уже 4 года занимается продажей легальных прокси серверов (они сдают свои сервера и свои собственные IP адреса), но и компания которая смогла количество IP сдаваемое в аренду довести до рекордных 15 000 (!), и даже начала создание своего (пусть пока и небольшого) дата центра в городе Калуга.