Страница 3 из 6 ПерваяПервая 12345 ... ПоследняяПоследняя
Показано с 21 по 30 из 52

Тема: Галерея и теги

  1. #21
    Участвует в обсуждениях
    Проверенные
    Репутация: 130
    Аватар для TenshiNyako
    Регистрация
    14.06.2013
    Сообщений
    248
    Сказал(а) спасибо
    57
    Поблагодарили 17 раз(а)
    Images
    1216

    Состояние души
    Антропоморф
    Насколько я знаю. Движок booru работает через формат ATOM. Он открытый, можно создавать запросы самому (Это позволяет обходить "скрытые" картинки, поскольку ATOM возвращает всё, а скрипты уже решают, что показывать юзеру, а что нет. Хотя не везде такое пашет, видимо в новых версиях пофикшено). Что нам нужно - это понять, можно ли по md5 получить картинку. В любом случае эти запросы будут работать на всех движках booru. У кого есть время - можете проверить.


    Я хз, говорю же. В идеале должно быть сделано так:
    if (АПИ движка позволяет искать картинки по md5 и возвращать масив тегов)
    • Берём десяток самых крупным Booru сайтов;

    Псевдо-код:
    Спойлер!

    Парсить сайт "поисковика" - это самый худший вариант.

    ИМХО - забудь про русский язык, есть желание - вперёд. Есть тыща людей, которые это будут делать?
    Есть русская ИБ? Делай запросы в ENG и RUS версию, сливай массивы и вуаля: рус. и инг. теги к картинкам.

    А вот если такой хеш не найден во всех задаых ИБ, тогда можно юзать "поисковик" по ИБ. Скармливать ему картинки, брать самый лучший ревалентный результат, переходить по ссылке и вырезать теги со страницы.

  2. #22
    Знак Лоликонщика - обозначает своего обладателя как преданного лоликону, превозносящего любовь и свет в наш скромный мир.Ванко Комплекс - собачки, ушки, хвостики, - обладатель этого знака не может перед ними устоять.

    Ванко Комплекс
    Светлый лоликонщик
    Репутация: 188
    Аватар для Yuuichi
    Регистрация
    14.12.2011
    Сообщений
    5,727
    Сказал(а) спасибо
    451
    Поблагодарили 1,884 раз(а)
    Images
    35271

    Состояние души
    Лоликонщик
    Фетиши
    Лоли + ушки/хвостики, вибраторы, лоли-собачки, BDSM, эксгибиционизм
    Хах, а именно нам придется просить сайт поисковика.
    Чтобы найти соответствие, потом узнать хеш. Потом запрос на теги.

    Чтобы сделать такую автоматизацию мне нужны следующие функции php

    1) ЗапросУПоисковикаПохожихИзображений( картинка) - возвращает массив ссылок на картинки
    2) ЗапросУБазыДанныхНаХеш ( ссылка на изображение) - возврашает хеш
    2') ЗапросУБазыДанныхНаТеги ( хеш или ссылка на изображение) - возвращает массив тегов

  3. #23
    Участвует в обсуждениях
    Проверенные
    Репутация: 130
    Аватар для TenshiNyako
    Регистрация
    14.06.2013
    Сообщений
    248
    Сказал(а) спасибо
    57
    Поблагодарили 17 раз(а)
    Images
    1216

    Состояние души
    Антропоморф

    *Видно только для проверенных*


  4. #24
    Знак Лоликонщика - обозначает своего обладателя как преданного лоликону, превозносящего любовь и свет в наш скромный мир.Ванко Комплекс - собачки, ушки, хвостики, - обладатель этого знака не может перед ними устоять.

    Ванко Комплекс
    Светлый лоликонщик
    Репутация: 188
    Аватар для Yuuichi
    Регистрация
    14.12.2011
    Сообщений
    5,727
    Сказал(а) спасибо
    451
    Поблагодарили 1,884 раз(а)
    Images
    35271

    Состояние души
    Лоликонщик
    Фетиши
    Лоли + ушки/хвостики, вибраторы, лоли-собачки, BDSM, эксгибиционизм
    Вуаля. Работает! Осталось потихонечку имаджборды опросить.
    Ну и прикрутить эту функцию для всех добавляемых в галерею картинок, чтобы она работала автоматически.
    Однако для измененных изображений с другим хешем вопрос остается открытый.
    Как получить хеш картинки из поисковиков?

    Код:
    function getPictureTagsByMd5($md5)
    {
    	$url_array[0] = 'h ttp://konachan.com/post.json';
    	$url_array[1] = 'h ttp://danbooru.donmai.us/posts.json';
    
    	$keywords = "";
    	foreach($url_array as $url)
    	{
    		$ch = curl_init($url);
    		$xml = 'tags=md5:'.$md5;
    		curl_setopt($ch, CURLOPT_POST, 1);
    		curl_setopt($ch, CURLOPT_POSTFIELDS, $xml);
    		curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
    		$response = curl_exec($ch);
    		$responsea = json_decode(substr($response,1,-1), true);  
    		curl_close($ch);
    		$keywords  .= " ".$responsea['tags'];
    	}
    	return $keywords;		
    }
    Для первой 1000 картинок по мд хешу определились только 32 ш.
    И увы за 1 раз вручную можно обработать только 100 картинок.
    А у нас их 27000.
    И еще санкаку отключил свой апи. Уверен у них база самая полная.


    Хм, к данбору не обращается через пхп. Через браузер работает.
    Может проблема на нашем сервере. Хз. Всегда отвечает что такая страница не существует
    Последний раз редактировалось Yuuichi; 02.07.2013 в 16:44.

  5. #25
    Знак Лоликонщика - обозначает своего обладателя как преданного лоликону, превозносящего любовь и свет в наш скромный мир.Ванко Комплекс - собачки, ушки, хвостики, - обладатель этого знака не может перед ними устоять.

    Ванко Комплекс
    Светлый лоликонщик
    Репутация: 188
    Аватар для Yuuichi
    Регистрация
    14.12.2011
    Сообщений
    5,727
    Сказал(а) спасибо
    451
    Поблагодарили 1,884 раз(а)
    Images
    35271

    Состояние души
    Лоликонщик
    Фетиши
    Лоли + ушки/хвостики, вибраторы, лоли-собачки, BDSM, эксгибиционизм
    Ну в принципе, запрос к базе данных выдает такую шткуку

    h ttp://iqdb.org/?url=h ttps://www.sanctuary.in.net/gallery/files/1/4dab168b50eb3e8cbc2d1dd8ac01eb89.jpg


    Код:
    <table><tr><th>Best match</th></tr><tr><td class='image'>
    <a href="h ttp://danbooru.donmai.us/post/show/600674">
    <img src='h ttp://iqdb.org/danbooru/4/d/a/4dab168b50eb3e8cbc2d1dd8ac01eb89.jpg' alt="Rating: q Score: 13 
    Tags: animal_ears ass barefoot blonde_hair cat_ears feet holding_own_tail jpeg_artifacts loli long_hair looking_back
     original panties skirt skirt_lift tail underwear wind_lift yellow_eyes" title="Rating: q Score: 13 
    Tags: animal_ears ass barefoot blonde_hair cat_ears feet holding_own_tail jpeg_artifacts loli long_hair looking_back
     original panties skirt skirt_lift tail underwear wind_lift yellow_eyes" width='93' height='150'></a></td></tr><tr><td>
    <img alt="icon" src="h ttp://danbooru.donmai.us/favicon.ico" class="service-icon">Danbooru <span class="el">
    <a href="h ttp://gelbooru.com/index.php?page=post&s=list&md5=4dab168b50eb3e8cbc2d1dd8ac01eb89">
    <img alt="icon" src="h ttp://gelbooru.com/favicon.png" class="service-icon">Gelbooru</a></span></td></tr><tr>
    <td>640&#215;1024 [Ero]</td></tr><tr><td>96% similarity</td></tr>
    Вот функция для парсинга этой билиберды.
    Возвращает массив с [tags][md5][similarity] если запрос к h ttp://iqdb.org вернет Best Match.
    [tags] содержит массив тегов через пробел из Best Match и всех Additional Match c порогом точности >90%
    [md5] возращается если будет найден в BestMatch, если нет то если будет найден в одном из Additional Match c порогом точности >90%

    *Видно только для проверенных*


    Короче нафиг запрос по md5.
    На коначан практически ничего нету, к данбору не передается ссылка, а санкаку не работает.
    Беру теги из поисковый базы данных для всех картинок со схожестью >90%.
    Если теги через запятые, меняем пробелы на подчеркивания, а запятые на пробелы.
    Вотъ

    Только обработка теперь вообще сократилась до 20 изображений за раз.
    Может её как-нибудь в крон запихнуть?
    Как пхп поставить скрипт на автозапуск каждые 60 секунд?

    Как часто можно обращаться к борде чтобы она не забанила?
    Последний раз редактировалось Yuuichi; 04.07.2013 в 04:02.

  6. #26
    Знак Лоликонщика - обозначает своего обладателя как преданного лоликону, превозносящего любовь и свет в наш скромный мир.Ванко Комплекс - собачки, ушки, хвостики, - обладатель этого знака не может перед ними устоять.

    Ванко Комплекс
    Светлый лоликонщик
    Репутация: 188
    Аватар для Yuuichi
    Регистрация
    14.12.2011
    Сообщений
    5,727
    Сказал(а) спасибо
    451
    Поблагодарили 1,884 раз(а)
    Images
    35271

    Состояние души
    Лоликонщик
    Фетиши
    Лоли + ушки/хвостики, вибраторы, лоли-собачки, BDSM, эксгибиционизм
    Поставил скрипт в автозапуск.
    Работает со скоростью 72 картинки в час.
    Из первых 300 картинок теги определились у 98% изображений.

    Запрос по порогу схожести очень дельная вещь. Слава этому онлайн сервису.

  7. #27
    Участвует в обсуждениях
    Проверенные
    Репутация: 130
    Аватар для TenshiNyako
    Регистрация
    14.06.2013
    Сообщений
    248
    Сказал(а) спасибо
    57
    Поблагодарили 17 раз(а)
    Images
    1216

    Состояние души
    Антропоморф
    Крон - мануал по крону.

    Лимит запросов - только экспериментально (если на сайте не сказано). Добавь статистику и смотри. Возьми сотню существующих картинок, впихни их в масив и while(1) долбись на сайт. Как только ответ будет отличаться чем "Найдено" - считай $errorCount++ и время появления (или на каком по счёту сфейлилось) и долбись дальше. Обработай вот так массив раз 100 (или по времени - 1 час). Смотри сколько Ероров и с какой периодичностью они появляются. Если после определенного количества обращений - значит ставь "sleep" после каждого N успешного запроса. Т.е. 30 раз обратились, 1 секунду подождали.

    Не пойми почему так медлено. Сколько времени уходит на 1(10) запросов от "держи" до "ага, вот и теги" ? Мб стоить ещё ассинхронные запросы слать? только сначала надо понять есть ли и какой лимит у сервиса.

    Как насчёт отдельной менюшки, где висят картинки без тегов? ну что бы зашел, и "А почему бы не протегать те пикчи, у которых нету тегов. А нука - давайте посмотрим". ИМХО - царская вещь

    * У нкоторых ИБ парные теги (из нескольких слов) пишутся через "+". точно не помню, но у 1 ИБ видал такое. Мб предусмотришь? надесь тегов со знаком "+" нету, а то всё зафейлиться...

  8. #28
    Знак Лоликонщика - обозначает своего обладателя как преданного лоликону, превозносящего любовь и свет в наш скромный мир.Ванко Комплекс - собачки, ушки, хвостики, - обладатель этого знака не может перед ними устоять.

    Ванко Комплекс
    Светлый лоликонщик
    Репутация: 188
    Аватар для Yuuichi
    Регистрация
    14.12.2011
    Сообщений
    5,727
    Сказал(а) спасибо
    451
    Поблагодарили 1,884 раз(а)
    Images
    35271

    Состояние души
    Лоликонщик
    Фетиши
    Лоли + ушки/хвостики, вибраторы, лоли-собачки, BDSM, эксгибиционизм
    Долго потому что пока картинка найдется пока расшифруются теги.
    Получается слишком долго ждет ответа от сервера и дисконнект..
    Не знаю как относится ли это к крон файлам.

    Похоже у сервиса нет проверки на спам. Его легко можно за ддосить.
    Из вежливости поставил по 12 запросов в каждые 10 минут.
    Все полученные теги я проверяю. Ошибки есть, но незначительные.

  9. #29
    Участвует в обсуждениях
    Проверенные
    Репутация: 130
    Аватар для TenshiNyako
    Регистрация
    14.06.2013
    Сообщений
    248
    Сказал(а) спасибо
    57
    Поблагодарили 17 раз(а)
    Images
    1216

    Состояние души
    Антропоморф
    Эм... Хозяевам сайта надо бы мыльцо написать мол "Мы очень ценим ваш ресурс. Мы те-то, делаем то-то. Просим нас простить за, возможно причинённые неудобства и множественные запросы на ваш сайт. Мы снизили количество запросов, и надеемся, что не сильно нагружаем вас."

    *набор слов вышел... я хреново соображаю по ночам, а мне ещё вставать через 5 часов... Так что спокойной ночи, Yuuichi


    Загони код по хайды, нехрен интелектуальной собственности валятсья на отрыто мместе, мы не SourceForge

  10. #30
    Знак Лоликонщика - обозначает своего обладателя как преданного лоликону, превозносящего любовь и свет в наш скромный мир.Ванко Комплекс - собачки, ушки, хвостики, - обладатель этого знака не может перед ними устоять.

    Ванко Комплекс
    Светлый лоликонщик
    Репутация: 188
    Аватар для Yuuichi
    Регистрация
    14.12.2011
    Сообщений
    5,727
    Сказал(а) спасибо
    451
    Поблагодарили 1,884 раз(а)
    Images
    35271

    Состояние души
    Лоликонщик
    Фетиши
    Лоли + ушки/хвостики, вибраторы, лоли-собачки, BDSM, эксгибиционизм
    Няко просил запрос на изображения без тегов:

    gallery/browseimages.php?do=imagesnotag

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •