Дракон из зажопинска.
Статистика:

читать дальше

@настроение:

@темы: Статистика

Комментарии
04.04.2012 в 15:36

мне сказали, что ты меня все еще любишь
удлинить провод веб ккмеры - Сначала подбирается наиболее длинный обычный удлинитель, при котором оно работает. Если этого мало, тогда репитер.

Либо комплект из usb2lan и lan2usb адаптеров с куском стандартно обжатой витой пары до 50м между ними. Мне такое пришло недавно.
04.04.2012 в 16:07

Жизнь иногда такое выкидывает, что хочется остановиться и подобрать.
темы драконы
Не нашёл той записи, где обсуждали паки с картинками, так что закину сюда. Расшарил свой драконопак, можно набигать и сохранять: www.dropbox.com/gallery/36688134/1/Dragons?h=59...
05.04.2012 в 22:22

Дракон из зажопинска.
DDD,
Посмотрели - 7 долларов стоит. В принципе, при больших расстояниях может иметь смысл. Правда, в этом случае стоит задуматься о WiFi камере. Но сама идея годная. Может действительно закажу на пробу.

xn,
Во, благодарю. Буду качать. Соответственно, могу предложить свою коллекцию, правда, она сейчас в процессе реструктуризации, но это последние несколько лет состояние перманентное. Правда, весит оно настолько много, что через билайн такое не прокачать, тем более с его нынешней работоспособностью. Так что могу предложить список разделов на выбор, или же всё закинуть на хост, как приедет внешний винт.
06.04.2012 в 09:07

мне сказали, что ты меня все еще любишь
Посмотрели - 7 долларов стоит

Это где? Я на молотке за 230 рублей брал вот такое:


06.04.2012 в 11:41

Дракон из зажопинска.
Поправка: после изменения поискового запроса нашли за 6.38 дол с доставкой. А продаётся на ебэе, разумеется.
06.04.2012 в 11:44

мне сказали, что ты меня все еще любишь
Уточни курс и размер комиссий при переводе рублей в доллары и при переводе продавцу. Сколько это в живых рублях со всеми накрутками выходит?
06.04.2012 в 12:00

Дракон из зажопинска.
У меня долларовая карта приватбанка. Пополнение по их курсу (обычно на 20-30 коп выше ЦБРФ в день покупки). Обычно закидывается на карту некоторая сумма, как правило, в период спада курса доллара, потом на неё всё покупается. Никаких "комиссия при переводе продавцу" и прочего быть не может - это не по правилам ebay. Вот какая цена указана для товара с доставкой, ровно столько с карты и снимается. Иногда покупаем товары за 1 цент с доставкой, вот 1 цент с карты и снимается.
06.04.2012 в 14:18

Жизнь иногда такое выкидывает, что хочется остановиться и подобрать.
Асат,
Наверное, не стОит: сейчас коллекцию пополняю вяло и только совсем уж отличными пикчами. Ну, разве что только йифф-папку :3
07.04.2012 в 13:36

Дракон из зажопинска.
Во, а йифф папку куда выложил? В основном списке вроде нет. Своей тоже могу поделиться, где-то к концу месяца винт с сервера приедет. Впрочем, там не так много, можно и через еблайн попробовать. Я там сиськи почистил, но полностью порядок ещё не навёл.
07.04.2012 в 14:24

Жизнь иногда такое выкидывает, что хочется остановиться и подобрать.
Асат,
www.dropbox.com/gallery/36688134/1/Yiff?h=e18e8... , правда, там всё вперемешку: йифф, хентай, тентакли и вообще левые фотки, которые следует почистить.
07.04.2012 в 15:01

Зря галерею сделал. Галерея дропбокса совсем не предназначена для массового сохранения картинок.
07.04.2012 в 15:14

Жизнь иногда такое выкидывает, что хочется остановиться и подобрать.
-DRACO-,
Ну во-первых, мне с ней ничего делать не нужно было, только нажать пару ссылок. Во-вторых, там хоть и нет кнопочки "сохранить папку", но по превьюшкам можно оценить годность картинки и в отдельных случаях нажимать "full size". Можно, конечно, использовать торрент, но там тоже свои проблемы, а залить куда-то все 1,5 Гб у меня не хватит интернетов. А ещё есть хитрые грабберы у Асата всяко должны быть такие.
07.04.2012 в 15:58

А ещё есть хитрые грабберы
Да тут галерея дропбокса такая хитрая, что, мне кажется, не выдаст она так просто все оригинальные файлы.
07.04.2012 в 18:34

мне сказали, что ты меня все еще любишь
За парсерами, это ко мне.
07.04.2012 в 23:47

Дракон из зажопинска.
xn,
Во, годно. Натравили туда сервер с качалкой, постепенно тянется. Но скорость просто ужасающая. И вообще, https на общедоступном ресурсе - это верх идиотизма. Скорость же падает в разы, а там сам по себе хост похоже тормознутый.

а залить куда-то все 1.5 Гб у меня не хватит интернетов.
Да ладно, что у тебя на серверах нет места? В принципе, можем на нашем ftp раскочегарить. Штатно оно отключено, так как достают взломщики-неудачники с перебиралками паролей. Они похоже тупо перебирают айпишники и пробуют ещё более тупые пароли. Оно в принципе пофиг, но ftp нам просто пока не был нужен. Не держать же его просто так ради развлечения недохакеров...

Алсо, а что у тебя Синксы делают в йиффе?
08.04.2012 в 00:55

Жизнь иногда такое выкидывает, что хочется остановиться и подобрать.
Асат,
Да ладно, что у тебя на серверах нет места?
Суть не в том, что нет места (зарегиться на ещё одном облачном хранилище - не проблема), а в том, что при моей скорости отдачи в 500 кб/сек это дело будет заливаться полдня, а то и больше. А вдруг разрыв...

Алсо, а что у тебя Синксы делают в йиффе?
А где им быть? Раз NSFW - значит в "йиффе". Туда же, согласно моей своеобразной системе критериев, идут слишком развратный шиппинг и всякие SFW-тентакли, которые не должны быть в папке "Dragons", потому что та использовалась как скринсейвер и могла быть увидена посторонними людьми, что могло вызвать всякие ненужные вопросы и психологические травмы.
08.04.2012 в 13:24

Дракон из зажопинска.
-DRACO-
Да тут галерея дропбокса такая хитрая, что, мне кажется, не выдаст она так просто все оригинальные файлы.
Как-так не выдаст? Если они доступны без ввода паролей, то выдаст все и почти сразу, с чего бы ей не выдать? Это ведь публичный сайт. Любой публичный сайт или с известным паролем может быть скачан, а значит и любые нужные файлы могут быть легко надёрганы (есть специфические исключения, такие как "бесконечные" страницы или генерируемые в ответ на POST, но они относительно редки, и как правило, не требуют кеширования). Конечно же, мы для скачки сайтов или массовых закачек публично выложенных файлов используем наш всезапоминающий прокси. И пофиг, что сайт HTTPS. Кешируется так же, как и HTTP.

Кстати, интересный факт: httrack, который раньше использовался в нашем скрипте-качалке, оказался неспособен найти оригинальные файлы в галерее. Маразм. С учётом ещё кучи проблем, доставленным им в прошлом, httrack отправился в топку - неспособность скачать то, что под носом в открытом виде стало последней каплей. От старого скрипта тоже отказались.

Написали с нуля свою, правильную качалку на perl с возможностью лёгкого расширения функциональности. Пока около 200 строк. Теперь всё качается хорошо, качественно. Но всё равно надо будет ещё хотя бы 1000 строк дописать, а то не солидно.

DDD
За парсерами, это ко мне.
То есть для скачки сайтов тоже собственную прогу или скрипт юзаешь?

У нашей качалки принцип действия простой: она скачивает всё что нужно (не будем писать бардосообщение с перечислением возможностей и фич, позволяющих относительно метко выделить нужное), при этом каждый скачанный файл она нигде не сохраняет. Но так как на пути стоит наша прокси, то получается скачанный сайт(ы), или, в зависимости от настройки, скачанная часть сайта или даже просто набор конкретных файлов.

В целом получается вполне удобно: можно загрузить значительную часть материала на 100 мегабитном канале, привезти домой, импортировать кеш, наполненный в data-центре, в кеш локального сервера и наслаждаться быстрой (до гигабита) работой нужных сайтов. В случае если материал заведомо не представляет исторической ценности, и нужен скажем только для того, чтобы было удобнее найти и надёргать нужное, то можно и выставить таймер, имеющий кучу параметров, на полное или частичное самоуничтожение импортированного материала, ну или просто удалить, когда станет больше не нужен. Конечно, надёргать что нужно без импорта тоже никто не запрещает, особенно если это легко сделать, не заблудившись в структуре сайта.
08.04.2012 в 14:19

мне сказали, что ты меня все еще любишь
Асат, одно время в промышленных масштабах писал парсеры для сайтов недвижимости, которые сразу же заливали инфу в БД. Позволяло моментально поднять сайт-конкурент на сграбленном контенте.

У нашей качалки принцип действия простой

Натрави ее на гугол, выкачай весь интернет и тогда тебе провайдер вообще не понадобится.
08.04.2012 в 14:56

Жизнь иногда такое выкидывает, что хочется остановиться и подобрать.
Написали с нуля свою, правильную качалку на perl с возможностью лёгкого расширения функциональности. Пока около 200 строк. Теперь всё качается хорошо, качественно.
А находить похожие изображения в интернетах умеет? Например, кидаешь ей маленькую картинку 300х400, а она находит оригинал прямо на девианте, от автора.

В целом получается вполне удобно: можно загрузить значительную часть материала на 100 мегабитном канале, привезти домой, импортировать кеш, наполненный в data-центре, в кеш локального сервера и наслаждаться быстрой (до гигабита) работой нужных сайтов
Это если сайт редко обновляется. С какими-нибудь двачами, где треды живут не больше 3-х суток, не сработает (только если read-only, и вообще...)

Натрави ее на гугол, выкачай весь интернет и тогда тебе провайдер вообще не понадобится.
120%
08.04.2012 в 21:43

Дракон из зажопинска.
xn
А находить похожие изображения в интернетах умеет?
Вся суть именно в том, что это КАЧАЛКА. В самом чистом виде. Не сохранялка и не находилка. Хотя искать ключевые слова или регулярные выражения в страницах и именах файлов умеет, что выгодно её отличает от всех альтернатив. Ещё имеется небольшая обратная связь с прокси, чтобы была возможность сбросить контент, сочтённый ненужным по заданным параметрам после нахождения в нём всего полезного (скажем, ссылок на оригиналы картинок, кроме которых в данном случае ничего не интересовало). Но это всё. Другого нам пока не нужно. А для нахождения похожих картинок в Сети вроде есть поисковики, но мы ими не пользуемся, и соответственно прог, которые бы с ними взаимодействовали, мы пока писать не планируем. Хотя конечно написать такое возможно: через такие поисковики найти похожие, а затем из них выбрать наиболее соответствующие, но в наилучшем качестве. Для нас, в силу специфического опыта в областях машинного зрения, это было бы не так сложно, если б оно нам было реально нужно. Но поскольку собирание картинок - хобби, а не работа, и часто они и так в наилучшем качестве, смысла с этого просто нет, особенно учитывая, что большинство картинок в таких поисковиках просто не находится.

Это если сайт редко обновляется. С какими-нибудь двачами, где треды живут не больше 3-х суток, не сработает
Это же наша всезапоминающая прокси! Она способна запомнить все версии каждой страницы и любого файла, а потом предоставить историческую версию сайта из прошлого (согласно установленной дате). Так что сработает. Другой вопрос, что такие сайты, как правило, не требуют много трафика, а потому кешируются на локальном сервере по мере ручного просмотра. На Инетном сервере такое засасывать нужды пока не было. А так можно засасывать хоть темы по ключевым словам, и исходя из из них, удалять или оставлять содержимое. Но мы не особо увлекаемся такими сайтами, да и свободного времени на них частенько нет. Почти все сайты очень редко обновляются в том смысле, что обновления несущественны на фоне редко обновляемого контента. Особенно верно для сайтов-хранилищ, типа галерей: добавленное новое за несколько недель несущественно на фоне добавленного за несколько лет. А значит, почти всё будет грузиться со скоростью до гигабита, ибо закешировано, и только новое будет грузиться с обычной Инетной скоростью, которая частенько весьма низка из-за перегруженности таких сайтов-хранилищ. Вне зависимости от скорости Интернета дома, это очень удобно и продуктивно, тем более можно не только смотреть на сайт как обычно, но пользоваться локальным поиском в его кешированной части.

DDD
одно время в промышленных масштабах писал парсеры для сайтов недвижимости, которые сразу же заливали инфу в БД. Позволяло моментально поднять сайт-конкурент на сграбленном контенте.
Плагиатор!

Натрави ее на гугол, выкачай весь интернет и тогда тебе провайдер вообще не понадобится.
Не генерирует поисковых запросов, так что весь Интернет так не выкачать. Да и нет с того смысла: у нас один Инетный
сервер с каналом 100 мегабит, а значит даже при неограниченном дисковом пространстве в разумные сроки не уложиться. Если уж мы и решим когда-нибудь выкачивать весь Интернет, то начнём с создания своего поисковика, чтобы грести бабло. Только вот их уже слишком много, а начальные вложения на их создание огромны, так что оно будет очень долго окупаться, даже если предложить кучу полезной и интересной функциональности, отсутствующей или криво реализованной у конкурентов. Поэтому качать весь Интернет в обозримом будущем не планируем.
08.04.2012 в 22:29

мне сказали, что ты меня все еще любишь
Плагиатор

Я еще писал приблуды для спама движков сайтов, но это же не делает меня спамером.

Если уж мы и решим когда-нибудь выкачивать весь Интернет, то начнём с создания своего поисковика, чтобы грести бабло.

И как ты собрался грести бабло на поиске?
09.04.2012 в 13:20

Дракон из зажопинска.
Я еще писал приблуды для спама движков сайтов, но это же не делает меня спамером.
Спамер!

И как ты собрался грести бабло на поиске?
Да я пока не собрался - говорю же, что это просто качалка. А вообще, так же, как Яндекс и Гугл гребут. Реклама, дополнительные сервисы и прочее. Посещаемость-то бешеная.
09.04.2012 в 22:58

мне сказали, что ты меня все еще любишь
Асат, Спамер!

Завод, собравший автомобиль, не виноват в том, что на нем кого-нибудь задавили.
10.04.2012 в 19:49

Дракон из зажопинска.
Если это автомобиль, на котором изначально предполагается давить, то как бэ виноват...
10.04.2012 в 21:15

мне сказали, что ты меня все еще любишь
Асат, это автомобиль, который позволяет проверить устойчивость к задавливанию, скажем так. В том, что его применяют для конвейерного тотала в промышленных масштабах моей вины нет.
12.04.2012 в 08:11

Дракон из зажопинска.
Да я-то не против. У меня вообще спам фильтруется.

Расширенная форма

Редактировать

Подписаться на новые комментарии