Галерея и теги

[TenshiNyako]

Насколько я знаю. Движок booru работает через формат ATOM. Он открытый, можно создавать запросы самому (Это позволяет обходить "скрытые" картинки, поскольку ATOM возвращает всё, а скрипты уже решают, что показывать юзеру, а что нет. Хотя не везде такое пашет, видимо в новых версиях пофикшено). Что нам нужно - это понять, можно ли по md5 получить картинку. В любом случае эти запросы будут работать на всех движках booru. У кого есть время - можете проверить.


Я хз, говорю же. В идеале должно быть сделано так:
if (АПИ движка позволяет искать картинки по md5 и возвращать масив тегов)

• Берём десяток самых крупным Booru сайтов;

Псевдо-код:

Спойлер!

$boorus = array("www.one", "www.two", ...);
$imgRootDirectory = "www/content/images/originals";
$files = scanDir($imgRootDirectory, "jpeg, bmp, gif, jpeg, png");
foreach ($files as $file)
{
   $md5cache = md5file($file);
   try
   {
      foreach ($boorus as $booru) // перелопачиваем все ИБ в поисках хеша
         {
            $img = findImgByMD5($md5cache, $booru); // Посылаем запрос на сайт с хешом
            if ($img)
            {
               // Картинка есть, есть ли теги. (Глупо, теги есть всегда. Можно сразу ЕСЛИ найден МД5 - возвращать теги)
               $tags = getImgTags($img, $booru);
               if ($tags)
                  reassignTagsToImg({$file или $md5cache}, $tags); // Обнуляем теги и добавляем в базу все теги с найденного ИБ для конкретной картинки.
               // Теги найдены и добавлены, break во внешний луп для обработки следующих картинок
            }
            // Картинки нету, забываем ответ и переходим к поиску в следующей ИБ.
            unset($img);
         }
   }
   catch (e)
   {
      printf("Что-то сфейлилось:<br/>%s", $e);
   }
}

Парсить сайт "поисковика" - это самый худший вариант.

ИМХО - забудь про русский язык, есть желание - вперёд. Есть тыща людей, которые это будут делать?
Есть русская ИБ? Делай запросы в ENG и RUS версию, сливай массивы и вуаля: рус. и инг. теги к картинкам.

А вот если такой хеш не найден во всех задаых ИБ, тогда можно юзать "поисковик" по ИБ. Скармливать ему картинки, брать самый лучший ревалентный результат, переходить по ссылке и вырезать теги со страницы.

[Yuuichi]

Хах, а именно нам придется просить сайт поисковика.
Чтобы найти соответствие, потом узнать хеш. Потом запрос на теги.

Чтобы сделать такую автоматизацию мне нужны следующие функции php

1) ЗапросУПоисковикаПохожихИзображений( картинка) - возвращает массив ссылок на картинки
2) ЗапросУБазыДанныхНаХеш ( ссылка на изображение) - возврашает хеш
2') ЗапросУБазыДанныхНаТеги ( хеш или ссылка на изображение) - возвращает массив тегов

[TenshiNyako]

*Видно только для проверенных*

[Yuuichi]

Вуаля. Работает! Осталось потихонечку имаджборды опросить.
Ну и прикрутить эту функцию для всех добавляемых в галерею картинок, чтобы она работала автоматически.
Однако для измененных изображений с другим хешем вопрос остается открытый.
Как получить хеш картинки из поисковиков?

function getPictureTagsByMd5($md5)
{
	$url_array[0] = 'h ttp://konachan.com/post.json';
	$url_array[1] = 'h ttp://danbooru.donmai.us/posts.json';

	$keywords = "";
	foreach($url_array as $url)
	{
		$ch = curl_init($url);
		$xml = 'tags=md5:'.$md5;
		curl_setopt($ch, CURLOPT_POST, 1);
		curl_setopt($ch, CURLOPT_POSTFIELDS, $xml);
		curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
		$response = curl_exec($ch);
		$responsea = json_decode(substr($response,1,-1), true);  
		curl_close($ch);
		$keywords  .= " ".$responsea['tags'];
	}
	return $keywords;		
}

Для первой 1000 картинок по мд хешу определились только 32 ш.
И увы за 1 раз вручную можно обработать только 100 картинок.
А у нас их 27000.
И еще санкаку отключил свой апи. Уверен у них база самая полная.


Хм, к данбору не обращается через пхп. Через браузер работает.
Может проблема на нашем сервере. Хз. Всегда отвечает что такая страница не существует

[Yuuichi]

Ну в принципе, запрос к базе данных выдает такую шткуку

h ttp://iqdb.org/?url=h ttps://www.sanctuary.in.net/gallery/files/1/4dab168b50eb3e8cbc2d1dd8ac01eb89.jpg

<table><tr><th>Best match</th></tr><tr><td class='image'>
<a href="h ttp://danbooru.donmai.us/post/show/600674">
<img src='h ttp://iqdb.org/danbooru/4/d/a/4dab168b50eb3e8cbc2d1dd8ac01eb89.jpg' alt="Rating: q Score: 13 
Tags: animal_ears ass barefoot blonde_hair cat_ears feet holding_own_tail jpeg_artifacts loli long_hair looking_back
 original panties skirt skirt_lift tail underwear wind_lift yellow_eyes" title="Rating: q Score: 13 
Tags: animal_ears ass barefoot blonde_hair cat_ears feet holding_own_tail jpeg_artifacts loli long_hair looking_back
 original panties skirt skirt_lift tail underwear wind_lift yellow_eyes" width='93' height='150'></a></td></tr><tr><td>
<img alt="icon" src="h ttp://danbooru.donmai.us/favicon.ico" class="service-icon">Danbooru <span class="el">
<a href="h ttp://gelbooru.com/index.php?page=post&s=list&md5=4dab168b50eb3e8cbc2d1dd8ac01eb89">
<img alt="icon" src="h ttp://gelbooru.com/favicon.png" class="service-icon">Gelbooru</a></span></td></tr><tr>
<td>640&#215;1024 [Ero]</td></tr><tr><td>96% similarity</td></tr>

Вот функция для парсинга этой билиберды.
Возвращает массив с [tags][md5][similarity] если запрос к h ttp://iqdb.org вернет Best Match.
[tags] содержит массив тегов через пробел из Best Match и всех Additional Match c порогом точности >90%
[md5] возращается если будет найден в BestMatch, если нет то если будет найден в одном из Additional Match c порогом точности >90%

*Видно только для проверенных*

Короче нафиг запрос по md5.
На коначан практически ничего нету, к данбору не передается ссылка, а санкаку не работает.
Беру теги из поисковый базы данных для всех картинок со схожестью >90%.
Если теги через запятые, меняем пробелы на подчеркивания, а запятые на пробелы.
Вотъ

Только обработка теперь вообще сократилась до 20 изображений за раз.
Может её как-нибудь в крон запихнуть?
Как пхп поставить скрипт на автозапуск каждые 60 секунд?

Как часто можно обращаться к борде чтобы она не забанила?

[Yuuichi]

Поставил скрипт в автозапуск.
Работает со скоростью 72 картинки в час.
Из первых 300 картинок теги определились у 98% изображений.

Запрос по порогу схожести очень дельная вещь. Слава этому онлайн сервису.

[TenshiNyako]

Крон - мануал по крону.

Лимит запросов - только экспериментально (если на сайте не сказано). Добавь статистику и смотри. Возьми сотню существующих картинок, впихни их в масив и while(1) долбись на сайт. Как только ответ будет отличаться чем "Найдено" - считай $errorCount++ и время появления (или на каком по счёту сфейлилось) и долбись дальше. Обработай вот так массив раз 100 (или по времени - 1 час). Смотри сколько Ероров и с какой периодичностью они появляются. Если после определенного количества обращений - значит ставь "sleep" после каждого N успешного запроса. Т.е. 30 раз обратились, 1 секунду подождали.

Не пойми почему так медлено. Сколько времени уходит на 1(10) запросов от "держи" до "ага, вот и теги" ? Мб стоить ещё ассинхронные запросы слать? только сначала надо понять есть ли и какой лимит у сервиса.

Как насчёт отдельной менюшки, где висят картинки без тегов? ну что бы зашел, и "А почему бы не протегать те пикчи, у которых нету тегов. А нука - давайте посмотрим". ИМХО - царская вещь

* У нкоторых ИБ парные теги (из нескольких слов) пишутся через "+". точно не помню, но у 1 ИБ видал такое. Мб предусмотришь? надесь тегов со знаком "+" нету, а то всё зафейлиться...

[Yuuichi]

Долго потому что пока картинка найдется пока расшифруются теги.
Получается слишком долго ждет ответа от сервера и дисконнект..
Не знаю как относится ли это к крон файлам.

Похоже у сервиса нет проверки на спам. Его легко можно за ддосить.
Из вежливости поставил по 12 запросов в каждые 10 минут.
Все полученные теги я проверяю. Ошибки есть, но незначительные.

[TenshiNyako]

Эм... Хозяевам сайта надо бы мыльцо написать мол "Мы очень ценим ваш ресурс. Мы те-то, делаем то-то. Просим нас простить за, возможно причинённые неудобства и множественные запросы на ваш сайт. Мы снизили количество запросов, и надеемся, что не сильно нагружаем вас."

*набор слов вышел... я хреново соображаю по ночам, а мне ещё вставать через 5 часов... Так что спокойной ночи, Yuuichi


Загони код по хайды, нехрен интелектуальной собственности валятсья на отрыто мместе, мы не SourceForge

[Yuuichi]

Няко просил запрос на изображения без тегов:

gallery/browseimages.php?do=imagesnotag