Дракон из зажопинска.
на днях ради интереса попробовали захват трафика со спутника.
В общем-то, в инете инфы об этом много и ничего нового мы в этом не открыли. Дальше просто личные впечатления и выводы.
читать дальшеВообще, наша карта для этого плохо подходит, так как упускает огромное количество трафика. Впрочем, того, что захватывается, тоже хватает. Ради пробы захватили порядка пару гиг чего попало, за вычетом совсем ушш мелких файлов. Из того что получилось, наибольший интерес представляют картинки. Впрочем, это конечно с натягом сказано, просто у меня большой опыт в переборе и упорядочивании картинок. За сутки их можно нахватать десятки тысяч, из которых чуть ли не половина баннеры и превьюшки. Тут явно выпирает тупоголовость авторов некоторых сайтов. Мы рубили картинки меньше 20 кило, и всё равно, нахваталось очень много мусора. Интересно, насколько же тупым надо быть, чтобы, например, выкладывать "уменьшенные" картинки, у которых встроенная превьюшка получается больше собственно изображения? Картинка, размером 100 на 100 пикселей в jpg формате весом 30 килобайт - легко. Фон для страницы, размером 1280 на 1024, представляющий из себя плавный цветовой градиент от белого к серому или подобное, весом под метр - тоже запросто. Картинка, весом около 50 килобайт в нормальном размере, а рядом уменьшенная в несколько превьюшка такого же веса... Нет, конечно, можно ошибиться, не уследить и прочее. Но это ведь носит массовый характер.
Содержание картинок - это уже отдельный разговор. Тут явно проявляется средний интеллект уже пользователей. Как уже говорил, около половины - это тяжеловесные баннеры, элементы оформления, увесистые превьюшки, местами тяжелее исходной картинки. Это всё не в счёт. Из того, что осталось, примерно 50-60% - порнуха. абсолютно однотипная и однообразная. Зато идёт сериями. Если упорядочивать картинки по времени их создания, идёт серии, часто из сотен картинок подряд. Учитывая, что карта при захвате "теряет" до 90% трафика, это особенно интересно. Сколько там картинок реально проходит, сказать сложно. Что интересно, идут они с такой скоростью, что среди них практически не проскакивают другие. Что них вообще интересного, да ещё и в таком количестве, лично я понять не могу.
Остальное - это огромное количество различных фоток, часто сделанных вэбкамерой, похоже, это перехватываются видеочаты. Как ни странно, очень много автомобильных фоток. Чуть ли не половина из них идут с ресурса avto.ru. Временами кто-то начинает активно копаться в гугловой карте.
Прочее - это уже самое разнообразное.
В целом, где-то 0.1-0.5% картинок заслуживают внимания. В первую очередь это те же автомобильные. Есть как собственно авто, так как и примеры оригинального тюнинга, фото различных запчастей и элементов и так далее. Временами попадаются серии картинок с комп железом. Часто проскакивают различные приколы, хотя и сильно разрозненно. Иногда кто-то заходит на природные сайты, там тоже есть чем поживиться. Правда, природа нынче малопопулярна. То ли дело порнуха...
Что характерно, похоже у большинства пользователей не хватает ума не то что на настройку кэширующей прокси, а даже банальной настройки кэша в браузере. Впрочем, это есть только в нормальных браузерах. Мусор типа IE хоть и имеет что-то подобное, но пользоваться им не в состоянии. В результате, одни и те же баннеры и элементы оформления часто повторяются десятки ряд подряд, загружаясь заново при каждом клике в пределах одного сайта.
В общем, при наличии свободного времени, иногда можно покопаться. Дело конечно на любителя, и требует некоторых навыков в разгребании картинок, иначе во всей это куче можно просто потонуть =:).
На деле же это делается так: открывается любая смотрелка, которая отображает список картинок в виде превьюшек. Превьюшки делаются покрупнее и располагаются в 3 ряда. Затем список можно прокручивать и смотреть. Зоны с порнухой или баннерами сходу проматыватываются, без загрузок самих картинок. В секунду их можно промотать десятки. Если идёт что-то разнообразное, можно крутить медленнее, присматриваясь к превьюшкам. На заинтересовавших делается клик и смотрится сама картинка. Стоящие просто перетягиваются в другую папку. При таком раскладе за час можно до 10000 картинок перебрать.
Что касается остальных файлов, то с них толку куда меньше. Захватываемые программы представляют из себя обычно хлам, да ещё и под винду. Архивов сыпется много, часть из них битая, в остальных же находится что угодно, но ценного мало. Учитывая, что с ними надо ещё и возиться, смысл с этого сомнительный.
С музыкой вообще глухо. Мало того, что mp3 файлов мало, так большая часть повреждена, а остальные не заслуживают внимания.
С видео ещё хуже. Несколько выловленных роликов оказались порнушные.
Отдельного разговора заслуживает почта, которая перехватывается в огромном количестве. Около 95% - это спам. Остальное - личная или служебная переписка. Только малая часть почты шифрована, остальная идёт открытым текстом.
Кстати, это стоит учитывать тем, кто шлёт что-то ценное. Ваша почта легко может быть перехвачена. даже ели вашш и адресата инет не спутниковый, это не значит, что трафик не окажется на спутнике. Особенно это касается региональных провайдеров. Впрочем, это очевидная вещь и вряд ли стоит говорить об этом подробно.
Довольно большая часть файлов оказывается повреждена. Чем больше файл, тем это вероятнее. Частично в этом виновата карта, которая "не видит" слишком много пакетов. Но так же ситуацию могут "портить" например качалки, работающие с несколькими потоками, прерванные по различным причинам закачки и так далее. Стандартная качалка при потере связи или таймауте просто повторит попытку, и продолжит закачку файла, а для перехвата этот файл будет потерян.
В общем, если нет желания ковыряться в картинках, то подобная опция довольно бесполезна. Выловить что-то нужное практически нереально, а общее содержание трафика заставляет сильно задуматься об уровне интеллекта качающих.
ЗЫ. Картинки дра-тематики крайне редкие. Одна на тысячи захваченных. Впрочем, фурри тематики по сути вообще нет =:). Даже обычная живность представлена в основном в виде домашних животных и встречается редко.
В общем-то, в инете инфы об этом много и ничего нового мы в этом не открыли. Дальше просто личные впечатления и выводы.
читать дальшеВообще, наша карта для этого плохо подходит, так как упускает огромное количество трафика. Впрочем, того, что захватывается, тоже хватает. Ради пробы захватили порядка пару гиг чего попало, за вычетом совсем ушш мелких файлов. Из того что получилось, наибольший интерес представляют картинки. Впрочем, это конечно с натягом сказано, просто у меня большой опыт в переборе и упорядочивании картинок. За сутки их можно нахватать десятки тысяч, из которых чуть ли не половина баннеры и превьюшки. Тут явно выпирает тупоголовость авторов некоторых сайтов. Мы рубили картинки меньше 20 кило, и всё равно, нахваталось очень много мусора. Интересно, насколько же тупым надо быть, чтобы, например, выкладывать "уменьшенные" картинки, у которых встроенная превьюшка получается больше собственно изображения? Картинка, размером 100 на 100 пикселей в jpg формате весом 30 килобайт - легко. Фон для страницы, размером 1280 на 1024, представляющий из себя плавный цветовой градиент от белого к серому или подобное, весом под метр - тоже запросто. Картинка, весом около 50 килобайт в нормальном размере, а рядом уменьшенная в несколько превьюшка такого же веса... Нет, конечно, можно ошибиться, не уследить и прочее. Но это ведь носит массовый характер.
Содержание картинок - это уже отдельный разговор. Тут явно проявляется средний интеллект уже пользователей. Как уже говорил, около половины - это тяжеловесные баннеры, элементы оформления, увесистые превьюшки, местами тяжелее исходной картинки. Это всё не в счёт. Из того, что осталось, примерно 50-60% - порнуха. абсолютно однотипная и однообразная. Зато идёт сериями. Если упорядочивать картинки по времени их создания, идёт серии, часто из сотен картинок подряд. Учитывая, что карта при захвате "теряет" до 90% трафика, это особенно интересно. Сколько там картинок реально проходит, сказать сложно. Что интересно, идут они с такой скоростью, что среди них практически не проскакивают другие. Что них вообще интересного, да ещё и в таком количестве, лично я понять не могу.
Остальное - это огромное количество различных фоток, часто сделанных вэбкамерой, похоже, это перехватываются видеочаты. Как ни странно, очень много автомобильных фоток. Чуть ли не половина из них идут с ресурса avto.ru. Временами кто-то начинает активно копаться в гугловой карте.
Прочее - это уже самое разнообразное.
В целом, где-то 0.1-0.5% картинок заслуживают внимания. В первую очередь это те же автомобильные. Есть как собственно авто, так как и примеры оригинального тюнинга, фото различных запчастей и элементов и так далее. Временами попадаются серии картинок с комп железом. Часто проскакивают различные приколы, хотя и сильно разрозненно. Иногда кто-то заходит на природные сайты, там тоже есть чем поживиться. Правда, природа нынче малопопулярна. То ли дело порнуха...
Что характерно, похоже у большинства пользователей не хватает ума не то что на настройку кэширующей прокси, а даже банальной настройки кэша в браузере. Впрочем, это есть только в нормальных браузерах. Мусор типа IE хоть и имеет что-то подобное, но пользоваться им не в состоянии. В результате, одни и те же баннеры и элементы оформления часто повторяются десятки ряд подряд, загружаясь заново при каждом клике в пределах одного сайта.
В общем, при наличии свободного времени, иногда можно покопаться. Дело конечно на любителя, и требует некоторых навыков в разгребании картинок, иначе во всей это куче можно просто потонуть =:).
На деле же это делается так: открывается любая смотрелка, которая отображает список картинок в виде превьюшек. Превьюшки делаются покрупнее и располагаются в 3 ряда. Затем список можно прокручивать и смотреть. Зоны с порнухой или баннерами сходу проматыватываются, без загрузок самих картинок. В секунду их можно промотать десятки. Если идёт что-то разнообразное, можно крутить медленнее, присматриваясь к превьюшкам. На заинтересовавших делается клик и смотрится сама картинка. Стоящие просто перетягиваются в другую папку. При таком раскладе за час можно до 10000 картинок перебрать.
Что касается остальных файлов, то с них толку куда меньше. Захватываемые программы представляют из себя обычно хлам, да ещё и под винду. Архивов сыпется много, часть из них битая, в остальных же находится что угодно, но ценного мало. Учитывая, что с ними надо ещё и возиться, смысл с этого сомнительный.
С музыкой вообще глухо. Мало того, что mp3 файлов мало, так большая часть повреждена, а остальные не заслуживают внимания.
С видео ещё хуже. Несколько выловленных роликов оказались порнушные.
Отдельного разговора заслуживает почта, которая перехватывается в огромном количестве. Около 95% - это спам. Остальное - личная или служебная переписка. Только малая часть почты шифрована, остальная идёт открытым текстом.
Кстати, это стоит учитывать тем, кто шлёт что-то ценное. Ваша почта легко может быть перехвачена. даже ели вашш и адресата инет не спутниковый, это не значит, что трафик не окажется на спутнике. Особенно это касается региональных провайдеров. Впрочем, это очевидная вещь и вряд ли стоит говорить об этом подробно.
Довольно большая часть файлов оказывается повреждена. Чем больше файл, тем это вероятнее. Частично в этом виновата карта, которая "не видит" слишком много пакетов. Но так же ситуацию могут "портить" например качалки, работающие с несколькими потоками, прерванные по различным причинам закачки и так далее. Стандартная качалка при потере связи или таймауте просто повторит попытку, и продолжит закачку файла, а для перехвата этот файл будет потерян.
В общем, если нет желания ковыряться в картинках, то подобная опция довольно бесполезна. Выловить что-то нужное практически нереально, а общее содержание трафика заставляет сильно задуматься об уровне интеллекта качающих.
ЗЫ. Картинки дра-тематики крайне редкие. Одна на тысячи захваченных. Впрочем, фурри тематики по сути вообще нет =:). Даже обычная живность представлена в основном в виде домашних животных и встречается редко.
@музыка: Stratovarius-Mother Gaia
@настроение: разгребальное
-
-
29.10.2006 в 10:39У меня ТТ-budget s-1401 (пров - Planetsky) и рыбалкой страшно доволен, хоть и взялся за это совсем недавно и не знаю всех тонкостей. Грабилка - manna 0.289.
Картинки - отключил. Полностью с тобой во всем согласен.
Из софта наловил уже горы вкусного - Outpost firewall, Webmoney Keeper, Download Master, Opera, Firefox, Mozilla, Miranda, антивирусы и т.д. - в общем весь популярный и не очень софт. Льется на ура, битых архивов и дистрибутивов нет.
Также прилетели несколько книг в pdf.
С музыкой плохо - мало и одна попса.
Видео - много, в основном - ххх, но иногда попадаются клипы и полновесные фильмы, тут главное дождаться конца закачки.
+ куча архивов, которые надо распаковать, чтобы узнать что это такое.
Напиши как ловить почту...
Я считаю для рыбалки нужен отдельный комп.
-
-
29.10.2006 в 21:53Тут многое зависит от провайдера, системы приема (тарелка, конвентор, DVB приемник, прога перехвата), от спутника наконец. К примеру, ранее пробовал рыбалку на 21.6Е (тут кстати мой Инет), что сказать - слабо. Фильтр: картинки от 100Кб, архивы, видео, прочее - от 5Мб выдавал около 10 Гб за ночь. Контент был приблизительно такой как ты описал. Т.е. ничего стояшего. Хотя часто шли карртнки с природой, достаточно интересные проги, видео и прочее. Радовала музыка, около 20% музыки с местного провайдера были очень неплохие. Но доминирует арабский контент, что есть не хорошо. Очень много «их» музыки, но слушать это нереально, зато узнал как отгребают американцы в Ираке (по ящику чего-то такого не показывают, полит корректность, блин), и что случится если под хамером рванет фугас, расчитанный на тяжелый танк… (идет много видео, снятого непосредственно терорюгами).
После чего решил попробовать рыбалку на 80Е. Что сказать, не приходится сравнивать... Тут работают только русские провайдеры, что намного увеличивает вероятность выловить что-то стоящее. За 1-2 часа утром (в этот момент пик) отлавливается 3-6 фильмов (все дублированы, в идеальном качестве, ашш сам удивляюсь где их качают?), около 20Гб другого трафика. Сигнал очень сильный, ошибок нет вообще. За день терялось не более 2-3 пакетов, если они попадают на фильмы, видео или музыку – этого просто не заметишь, с архивами немного по-другому. Битые архивы не открываются. Но это давно не проблема, есть проги, позволяющие выборочно докачать именно те пакеты, которые были утеряны, и восстановить тем самым архивы.
Сначала были проблемы с ххх, но они легко решаются настройкой фильтров. В результате это больше не мешало.
Говорят что и на 53Е очень хорошая рыбалка. Сам не проверял, так что уточнить не могу.
Кстати, пакеты пользователей, использующих GlobaX, перехватить нереально. Все, что ловится - это провайдеры, использующие VPN подключение как обратный канал. Естественно, к ним подключены юзвери, возможно даже через диалап.
>Вообще, наша карта для этого плохо подходит, так как упускает огромное количество трафика.
Пока наилучшей считается карточка SS3. На всем остальном канал ограничен, если не ошибаюсь, 60ю Мб\с. А какой прогой пользуетесь? Наилучшей мне кажется SkyNet, тем более есть версии этой проги для всех распространенных ОС.
А пользователям виндозз тут неплохое пастбище… сотни обновлений и заплаток на вындозз, ежедневные обновления баз антивируса касперского, весь набор стандартных прог от проигрывателей, браузеров, кодеков до полноценных ДВД дисков (как-то выхватил 2 сд с описанием и БД «оракл», 4х гиговый диск с 9м 3Ds-Max-ом), и много другого, правда не в полной комплектации (комп круглосуточно ведь не будешь оставлять включенным).
>Как уже говорил, около половины - это тяжеловесные баннеры, элементы оформления, увесистые превьюшки, местами тяжелее исходной картинки. Это всё не в счёт. Из того, что осталось, примерно 50-60% - порнуха.
Настрой фильтры. Проблема полностью решается в полной мере.
>Учитывая, что карта при захвате "теряет" до 90% трафика
как определяете? Сколько у вас срывается пакетов на 1Мб записанной инфы? И какое среднее отношение входящего трафика к записаному?
>Временами кто-то начинает активно копаться в гугловой карте.
Хррр… а это какой спутник?
>В целом, где-то 0.1-0.5% картинок заслуживают внимания. В первую очередь это те же автомобильные.
В определенный момент начинаешь думать, а надо ли оно тебе? Я оставляю только избранные картинки, коих накопилось около 500Мб всего. Сначала даже тюнинговые машины оставлял, потом забил. Слишком много места надо для этого.
>Правда, природа нынче малопопулярна.
Это точно =:\
>Что характерно, похоже у большинства пользователей не хватает ума не то что на настройку кэширующей прокси
большинство из этих пользователей являются офисными работниками, которые не то, что бы кеширующих проксей не знают, они не знают даже что такое браузер…
>В результате, одни и те же баннеры и элементы оформления часто повторяются десятки ряд подряд,
Тут все проще. Возмем к примеру офис, где мне приходится иногда работать. Вся компания подключена через одного прова, использующего спутниковый Инет. Кто-то находит ссылку на картинку\статью (где есть банеры), и рассылает ее всем работникам по местному чату, посмотрите вот, какое интересное! Ну, все кучей кидаются на ссылку и начинают ее качать, вот и получается, что с одного мак-адреса (прова) закачивается десятки\сотни раз одно и то же. Хотел предложить админу поставить кеш на входящий Инет, но что мне с того будет? В общем, порыбалишш, и не такое увидишш…
>Дело конечно на любителя, и требует некоторых навыков в разгребании картинок, иначе во всей это куче можно просто потонуть =
Потонуть то не потонешш, а место на винте закончится. Хотя, при первых навыках уже получалось рассортировывать Гб картинок за 15 минут (даже при условии, что энтропия содержимого достаточно велика)
>Что касается остальных файлов, то с них толку куда меньше.
В моем случае было наоборот. Просматривать архивы, PDF, SWF научился чуть не быстрее чем картинки. А там ушш побольше полезной Инфы. К примеру, таким методом узнал и вычислил расположение сайтов, на которых есть техническая документация к мобильным телефонам. Не те юзверские книшшки, написаные в стиле «для блондинок», а именно тех. документация, с описанием всех схем, блоков, процессов и т.д. Так же постоянно ловились DATASHEET-ы на множество микросхем, радиодеталей, сотни журналов этой тематики, схемы аппаратуры, много интересных кних (астрономия, психология), аудиокниги… сейчас всего и не вспомню. В общем, рекомендую обращать внимание на архивы, хотя не знаю как с этим обстоит у прова, на которого вы нацелились.
> Но так же ситуацию могут "портить" например качалки, работающие с несколькими потоками,
Качалки не считаются проблемой для нормальной программы захвата. Даже если качалка будет повторно тянуть какие-то пакеты, останавливаться или еще че-то там делать. Это даже проблемой не считается.
>В общем, если нет желания ковыряться в картинках, то подобная опция довольно бесполезна.
В «рыбных» местах все наоборот. Там на картинки просто нет времени, как бы быстро их не пересматривал. По этому многие и забивают на картинки.
>ЗЫ. Картинки дра-тематики крайне редкие. Одна на тысячи захваченных. Впрочем, фурри тематики по сути вообще нет =
Аналогично. По всей видимости, фурей не так много как может показаться…
-
-
31.10.2006 в 20:07То, что карта повлияла, это конечно есть. По сути, файлы размером больше пары метров захватить в целом виде крайне сложно. Практически все получаются битые из за потери пакетов. Согласно обзорам, эта карта теряет больше 95% пакетов, так что неудивительно. Впрочем, обычной нафигации это не вредит, так что ситуация не критичная.
"У меня ТТ-budget s-1401 (пров - Planetsky)"
А спутник какой?
"Из софта наловил уже горы вкусного"
Из перечисленного тобой набора большинство для нас совершенно бесполезны. Те же браузеры наладить можно, но зачем? У нас своих пачками. Ну а всякие файрволы и прочие антивирусы требуются только на дырявых системах типа винды, хотя как показывает практика, при прицельной атаке толку с них немного. Вопрос не в этом. Судя по тем прогам, которые проходят через нашш спутник, лично для нас ценного ничего нет. Хотя возможно на других спутниках ситуация получше будет.
" Также прилетели несколько книг в pdf."
Вот это интереснее. Насколько много книг и какой они обычно тематики, на каком языке? Нам вообще ничего путного перехватить не удалось.
"С музыкой плохо - мало и одна попса."
В общем-то что и ожидалось. Из того что схватилось у нас, посмотрел всё, в том числе и битое. Слушать там особо нечего. Так что в этом отношении мы ничего не теряем даже с такой картой =:)
"Напиши как ловить почту..."
Мы пробовали прогу Owns. Штука весьма примитивная и глючная, но перехват почты - её штатная опция, наравне с перехватом других файлов. Прога вроде как мультиплатформенная.
"Я считаю для рыбалки нужен отдельный комп."
Зачем?? Я слышал, что под виндой из за хронически кривых дров, работа карты вызывает нагрузку на проц. В нашем случае нагрузка не превышает нескольких % процессорной мощности, так что тут проблем быть не должно. Другой вопрос, что при подключенном обратном канале может генериться обратный трафик, но если надо, чтобы во время захвата нормально работал инет, просто настраиваешш те же прокси на фильтрацию лишних пакетов. Тогда захватывать можно круглосуточно, что не мешает основной работе. Другой вопрос - куда потом девать захваченное в таких количествах? =:)
2 Амион:
"Ага, все же решил попробовать рыбалку?"
Для разнообразия. Постоянно этим заниматься просто нет времени. Можно периодически в картинки делать добавления. Но лапы до этого доходят редко.
"Сначала были проблемы с ххх, но они легко решаются настройкой фильтров. В результате это больше не мешало."
Вообще-то, при нашей ситуации возиться с поиском всех этих фильтров особого желания нет. Как вариант, можешш намылить твой конфиг с настройками твоей проги и фильтрами? Можно будет сравнить, как это скажется на захвате.
" Кстати, пакеты пользователей, использующих GlobaX, перехватить нереально. Все, что ловится - это провайдеры, использующие VPN подключение как обратный канал."
Странно. Наши сотовые провы вообще фильтруют часть пакетов, что не даёт возможности юзать VPN соединение, а также некоторые другие вещи. Вряд ли это характерно только для нашего региона. Да и толку то с соединения без глобакса? Только прокачка лишнего трафика.
"Пока наилучшей считается карточка SS3."
Это мы знаем. Но она несколько дороже, и в местных подобиях фирм этого просто нет. А затевать какие-то замены только ради захвата, не вижу смысла. Меня интересуют в основном картинки, их я и так нахватываю достаточно. Если их станет в несколько раз больше, то содержимое будет примерно то же, а время перебора у меня такое же. То есть время захвата будет меньше. Дельную музыку, как я понял, выловить вообще малореально, проги же и подобное для нас не представляет интереса.
"А какой прогой пользуетесь?"
Попробовали прогу Owns. Как разгребём закачанное, может будет попробовать ещё какую-нибудь.
"Наилучшей мне кажется SkyNet,"
Ну, можешш скинуть конфиг от неё. Можно будет попробовать.
"А пользователям виндозз тут неплохое пастбище…"
Весёлое конечно занятие - вечное заделывание дырок. Ну да это на любителя.
"как определяете? Сколько у вас срывается пакетов на 1Мб записанной инфы? И какое среднее отношение входящего трафика к записаному?"
Об этом давно уже всё обзорах описано. По нашим же подсчётам, за вычетом битых файлов, остаётся около 2%. Соотношения не смотрел. При следующем захвате можно будет глянуть.
"Хррр… а это какой спутник?"
Google.com/maps
штука интересная, но довольно тяжеловесная.
"В определенный момент начинаешь думать, а надо ли оно тебе?"
Ну для разнообразия можно. А то у меня в коллекции уже по несколько лет нет обновлений в некоторых разделах.
"большинство из этих пользователей являются офисными работниками,"
У офисных работников есть админ. Хотя если канал анлимный, может и забить. Хотя на спутнике анлим - штука крайне невыгодная. Проще наладить кэши и фильтры.
"вот и получается, что с одного мак-адреса (прова) закачивается десятки\сотни раз одно и то же."
Это странно, учитывая, что даже сотовые провы имеют свои кэши для уменьшения объёмов реально потреблённого трафика, но берущие оплату за него. Так что куда смотрят админы крупных фирм, непонятно.
"Потонуть то не потонешш, а место на винте закончится."
Ну на такое даже я с размахом моей коллекции не рассчитываю. Чтобы реально стал вопрос о месте для картинок, их должны быть уже сотни тысяч.
"В общем, рекомендую обращать внимание на архивы, хотя не знаю как с этим обстоит у прова, на которого вы нацелились."
Обращаю, но большинство получаются битые. Учитывая что основная их часть - это тупой зип, не в состоянии даже открываться в повреждённом виде, то толку с них не так и много.
А документация и прочее - оно то может и хорошо, но сейчас просто нет времени это перебирать. Посмотрим, что зимой будет.
"Качалки не считаются проблемой для нормальной программы захвата."
Для проги может и не являются, но когда карта теряет большинство трафика, часть потоков она просто не заметит.
"Аналогично. По всей видимости, фурей не так много как может показаться…"
их то хватает, но проблема в том, что спутниковый инет в крупных городах практически неразвит. Основная часть юзеров обычно из провинции. А там больше порнуха волнует. Точнее, волнует то она многих, но это просто более заметно.
-
-
01.11.2006 в 15:24А спутник какой?
Экспресс АМ1.
Из перечисленного тобой набора большинство для нас совершенно бесполезны.
Не могу знать как обстоят дела с софтом для систем отличных от "дрявой винды" (как ты говоришь), может и есть что-то для других платформ. Я удаляю все, что не могу распознать по имени файла. Кстати, довольно большой процент рыбы идет с нормальными именами файлов, а остально ввиде 188.26K 0002F10F 00D0D70D135C 58D4C55C 020C000J.jpg. Так и не могу понять почему, вроде бы у всех файлов не должно быть имен.
Насколько много книг и какой они обычно тематики, на каком языке?
Немного, но все что попадалось - на русском и по компам. "Внутреннее устройство Виндоус", "Беспроводные сети" еще что-то. Различные мануалы ко всякой технике, каталоги комп. фирм етс.
Зачем?? Я слышал, что под виндой из за хронически кривых дров, работа карты вызывает нагрузку на проц. В нашем случае нагрузка не превышает нескольких % процессорной мощности, так что тут проблем быть не должно. Другой вопрос, что при подключенном обратном канале может генериться обратный трафик, но если надо, чтобы во время захвата нормально работал инет, просто настраиваешш те же прокси на фильтрацию лишних пакетов. Тогда захватывать можно круглосуточно, что не мешает основной работе. Другой вопрос - куда потом девать захваченное в таких количествах? =
А затем же, зачем существуют папки. Гораздо удобнее иметь отдельную заточеную под ловлю машину и не устраивать бардак на основном компе. Ну это для "промышленных масштабов".
В моем случае нагрузка на проц при рыбалке составляет порядка 60%.
-
-
26.11.2006 в 16:58Как раз для того чтобы рыбалить времени то совсем не нужно, сам SkyNet тянет менее 1% ресурсов моего процессора (а это всего Атлон1.7), в отличии от ТВ и радио, которые грузят проц как винамп. То есть можно поставить как фоновый процесс и забыть. Дело в другом. Во первых, сложно разгрести даже отфильтрованные файлы, на это нужно время. Во вторых – сама рыбалка очень сильно грузит винт. Представь ~300 файлов одновременно пишутся на винт в 4-8 потоков, многие из них достаточно быстро (200Кб\с)…
>Вообще-то, при нашей ситуации возиться с поиском всех этих фильтров особого желания нет. Как вариант, можешш намылить твой конфиг с настройками твоей проги и фильтрами? Можно будет сравнить, как это скажется на захвате.
У меня тоже нет никакого желания возиться с фильтрами, и тем более что-то искать в Инете. Фильтры ты составляешш сам так, как тебе надо. Вот к примеру, на 53Е меня буквально завалило анимэ. За день около 8 Гб только аниме, в MPEG4 и идеальном качестве. Я анимэ не перевариваю биологически, и дабы такого не повторялось, поставил бан на определенные сайты и определенные машины. В результате все успокоилось =
Мой конфиг тебе совершенно не поможет. Конфиг для спутника 21.6Е не подошел ни на 80Е, ни на 53Е. И это понятно. Мало того, конфиги для одного спутника но разных провов на этом спутнике тоже не подходят.
>Странно. Наши сотовые провы вообще фильтруют часть пакетов, что не даёт возможности юзать VPN соединение.Да и толку то с соединения без глобакса? Только прокачка лишнего трафика.
Во первых, провайдеры не пользуется GPRS для организации обратного канала. Любой более-менее серьезный провайдер может выдать до 1Мб\с в обратном направлении, что это подтверждает. Сотовые провы режут не только ВПН, что позволяет им экономить. А не используют Globax по тому, что он не совсем надежный, может повиснуть и так далее. Тем более через глобакс у тебя будет IP, принадлежащий определенному региону, не российскому. Так же Глобакс не работает с некоторыми сервисами Сети (еще не так давно не работало Интернет-телефидение, как заверяли, + некоторое другие). В общем Globax – решение для «бедных», так как он вводит ограничения да и в общем не стабилен.
>Попробовали прогу Owns. Как разгребём закачанное, может будет попробовать ещё какую-нибудь.
Не слышал о такой. Лучшей, как уже говорил, считается SkyNet. Но дело в том, что этот проект закрыт и версии, больше чем 1.9 не найти. Теперь этот проект перешел в «OpenSourse», коды доступны всем для усовершенствования и модернизации. Ее нетрудно найти в Инете, программа бесплатна. Обычно с ней идет небольшое руководство по пользованию и составлению фильтров.
>Об этом давно уже всё обзорах описано. По нашим же подсчётам, за вычетом битых файлов, остаётся около 2%. Соотношения не смотрел. При следующем захвате можно будет глянуть.
Странно… 2% это мало. Хотя, с фильтрами (только RAR, Djvu, PDF, и AVI от 50 Мб) сейчас *глянул статистику* принято в потоке: 9,26Гб, записано на диск 1,02Гб. Потеряно: 0 пакетов. Получилось чуть более 10%. Но, повторю, это без картинок, WMV, мп3 и прочего. Может в вашем районе плохой прием. Прога выдает хоть какую-то статистику? Дело в том, что карточка принимает весь поток сразу, принимать только 1 файл она не может. Советую установить Streamreader для вашей карточки как можно более новой версии. Это поможет не только для рыбалки, но и улучшить связь при пользовании Инета. Именно Streamreader и отвечает за то, как будет ловиться.
>У офисных работников есть админ. Хотя если канал анлимный, может и забить. Хотя на спутнике анлим - штука крайне невыгодная. Проще наладить кэши и фильтры.
Зачастую канал именно анлимный, и ограничен только скоростью. По этому админы над этим не задумываются особо. Да и как они могут повлиять на что-то? Обычно конторы\фирмы\офисы подключаются к прову, а не сидят с тарелкой и GPRS за которым надо следить постоянно. А вот провы используют VPN как обратку, что обеспечивает надежность.
>Ну на такое даже я с размахом моей коллекции не рассчитываю. Чтобы реально стал вопрос о месте для картинок, их должны быть уже сотни тысяч.
Это распределенные картинки. Как-то я понадеялся и оставил комп на ночь… 500 000 картинок объемом в 48Гб утром меня отговорили от такого. Только процедура стирания заняла около получаса… жуть, кто-то качает JPG-и по 15Мб! Даже такое есть
>А документация и прочее - оно то может и хорошо, но сейчас просто нет времени это перебирать. Посмотрим, что зимой будет.
Для меня оказалось дольше перебирать картинки чем архивы и инфу в djvu и PDF.
>Для проги может и не являются, но когда карта теряет большинство трафика, часть потоков она просто не заметит.
По описанию, могу предположить два варианта: либо у вас плохо настроена тарелка, либо же канал очень широкий и карточка постоянно «заваливается». Это элементарно определить, узнав качество сигнала, его уровень, количество TCP-закачек и посмотрев на то, как появляются битые пакеты (постоянно по 1-5 или же резко сразу по несколько тысяч).
З.Ы.
Проводил анализ трафика. Возможно, поможет с поиском места для рыбалки:
53Е
Очень много инфы. Вот немного из того, что поймалось: Доки по Unix-системам (~400Мб), Программирование, ПК-хард, базы данных, техническая документация на телефоны, аппаратуру, микросхемы, приборы. Много книг о технике (текущей и теоретической), книги о космосе и косм. технике (как советские, так и буржуйские разных лет), комп. Сети, тех. Анализ, инфо по использованию MathCad, MathLab, очень много книг по высшей математике, психологии, химии органической, неорганической и тематические, физике процессов, автоматизации, справочники по радиодеталям, так же много книг типа «300 схем источников питания», журналы «Радио любитель» (все выпуски), «Радио аматор» и так далее. Всего за 3 дня (около 10 часов рыбалки) отловилось 600Мб инфы, которую я оставил. Так же много другого, что потер: журналы для авиа-любителей, авто-любителей, какие-то журналы для домохозяек, огородников, журналы ххх, и прочее, что меня не заинтересовало.
На этом спутнике мало фильмов, и качают их медленно. Зато куча гадкого анимэ. Так же тут наибольший процент Linux-софта. Около 500 Мб за те же 10 часов, но я проверить, что именно это за проги не смог. Windows-софта приблизительно столько же как и везде.
Тут есть аудио книги. Хорошая вещь. Можешь слушать книгу, качественно начитанную и озвученную, а одновременно что-то делать =
И еще. На спутнике широкий канал, в пики активности (7-10 часов по Гнч) карточка может «завалиться».
На спутнике много провайдеров.
80Е.
Тут канал поменьше, никогда не заваливался еще. Спутник характерен тем, что тут очень много фильмов, качают быстро, в хорошем качестве, вот только фильмы зачастую… хррр, не очень, или уже старые. На спутнике мало Unix-софта (50-100Мб за 10 часов), меньше инфы чем на 53. Вообще, по контенту - это копия 53Е, но канал уже, соответственно всего тут меньше. Но вот с фильмами исключение. На спутнике 1 провайдер.
21.6Е
На спутнике много провайдеров, не смотря, что на этот спутник я наведен всегда, трафик с него изучен слабо. есть итальянский провайдер, канал очень широкий. Там кроме итальянской музыки и порно ничего нет. Есть украинский пров – страна не богатая, все сидят на GlobaX-е, по этому тут вообще нечего ловить. То же самое с румынскими провами. Хотя как-то отловил пару альбомов «самаэля», новый альбом «эпидемии» и несколько новых групп, играющих «power-metal».