«Яндекс» усовершенствовал поиск: теперь он понимает и изображения, и текст

Это поможет более точно определять содержание изображений

«Яндекс» обновил свой поиск по изображениям, внедрив одновременный анализ как самой картинки, так и текста, который ее сопровождает на странице.

В компании утверждают, что это поможет более точно определять содержание изображений, особенно когда подпись или описание не совпадает с тем, что изображено на фото.

Алгоритмы поиска по картинкам «Яндекса» научились одновременно обрабатывать изображение и текст на странице. <…> Новая технология позволяет улучшить результаты в тех ситуациях, когда текст в описании картинки противоречит самому изображению.

Основой обновления является мультимодальная технология. Сначала специалисты обучили крупную модель, а затем на ее основе разработали несколько компактных моделей для различных этапов обработки данных. Наиболее ресурсоемкие операции выполняются заранее, благодаря чему новый алгоритм может работать в реальном времени без увеличения времени формирования результатов поиска.

Ранее система анализировала изображение и текст отдельно, что могло привести к ошибкам при несоответствии визуальной информации и описания. Теперь эти данные рассматриваются совместно. По словам «Яндекса», после внедрения технологии доля релевантных изображений в верхней части поисковой выдачи заметно возросла.