21.04.2015 Яндекс. Диск может распознать текст на изображениях
Яндекс.Диск научился искать изображения, содержащие текст поискового запроса. Для этого, достаточно ввести в поисковую строку нужное слово, и система найдёт на Диске картинки, на которых оно встретится. В результатах поиска пользователи также увидят файлы и папки, в названиях и описаниях которых есть искомое слово, и документы, в тексте которых оно содержится.
Когда на вашем Яндекс. Диске сотни и тысячи фотографий, разложенных по разным папкам, поиск по текстам позволит быстро найти среди них нужную. Например, скан документа или фотографию визитки человека, с которым понадобилось связаться. Искать можно не только документы, но и любые фотографии, которые сделаны для того, чтобы сохранить текст, будь то объявление на двери подъезда или любопытный рекламный баннер на улице.
В основе поиска текстов на изображениях лежит технология оптического распознавания символов. Систем распознавания, опирающихся на эту технологию, много, и все они работают по разному. Какие-то решают определённую задачу, например, распознают партитуры, какие-то работают только с чистым текстом. Яндекс же, разработал свою универсальную систему распознавания текста, успешно работающую на самых разных по содержанию и качеству картинках.
Система состоит из двух составляющих: классификатора картинок и модуля распознавания. Классификатор отбирает из всех картинок те, на которых изображён текст. Он учится отличать их от прочих на огромной базе изображений. Использование машинного обучения позволяет добиться высокого качества распознавания, алгоритм опирается на опыт анализа миллионов разных картинок. Когда изображения с текстом отобраны, алгоритм находит на них линии, предположительно содержащие текст, различать их помогает ещё одна нейронная сеть. На следующем этапе алгоритм оставляет только те линии текста, в которых он уверен.
Затем модуль распознавания разбивает линии текста на отдельные символы.
Для каждого символа алгоритм выбирает несколько наиболее вероятных вариантов распознавания среди известных ему. Например, это могут быть буквы "О", "о" и цифра "О", очень похожие друг на друга. После этого в дело вступает языковая модель алгоритм принимает решение, какой из символов-кандидатов подходит лучше всего. Языковая модель опирается на словари и учитывает не только сходство символов с теми, что знает система, но и контекст, то есть соседние символы. Если из нескольких вероятных символов складывается известное системе слово, то она может принять решение, что на картинке написано именно оно. Даже если некоторые символы-кандидаты в этом слове менее вероятны, чем другие.
Конечно, точность распознавания текста, и соответственно успех поиска, зависит от типа изображения, его чёткости, фона, на котором находится текст, и многих других факторов. Поэтому для разных видов изображений она разная. Например, для отсканированных документов точность распознавания текстов на русском языке составляет около 80%, для фотографий с надписями 63%, а для скриншотов вплотную приближена к 100%.
Помимо русского языка, система также распознаёт английский, турецкий и украинский. Точность распознавания текстов всего потока изображений более 70%. Система поддерживает изображения формата JPEG, GIF и PNG.
В основе поиска текстов на изображениях лежит технология оптического распознавания символов. Систем распознавания, опирающихся на эту технологию, много, и все они работают по разному. Какие-то решают определённую задачу, например, распознают партитуры, какие-то работают только с чистым текстом. Яндекс же, разработал свою универсальную систему распознавания текста, успешно работающую на самых разных по содержанию и качеству картинках.
Система состоит из двух составляющих: классификатора картинок и модуля распознавания. Классификатор отбирает из всех картинок те, на которых изображён текст. Он учится отличать их от прочих на огромной базе изображений. Использование машинного обучения позволяет добиться высокого качества распознавания, алгоритм опирается на опыт анализа миллионов разных картинок. Когда изображения с текстом отобраны, алгоритм находит на них линии, предположительно содержащие текст, различать их помогает ещё одна нейронная сеть. На следующем этапе алгоритм оставляет только те линии текста, в которых он уверен.
Затем модуль распознавания разбивает линии текста на отдельные символы.
Для каждого символа алгоритм выбирает несколько наиболее вероятных вариантов распознавания среди известных ему. Например, это могут быть буквы "О", "о" и цифра "О", очень похожие друг на друга. После этого в дело вступает языковая модель алгоритм принимает решение, какой из символов-кандидатов подходит лучше всего. Языковая модель опирается на словари и учитывает не только сходство символов с теми, что знает система, но и контекст, то есть соседние символы. Если из нескольких вероятных символов складывается известное системе слово, то она может принять решение, что на картинке написано именно оно. Даже если некоторые символы-кандидаты в этом слове менее вероятны, чем другие.
Конечно, точность распознавания текста, и соответственно успех поиска, зависит от типа изображения, его чёткости, фона, на котором находится текст, и многих других факторов. Поэтому для разных видов изображений она разная. Например, для отсканированных документов точность распознавания текстов на русском языке составляет около 80%, для фотографий с надписями 63%, а для скриншотов вплотную приближена к 100%.
Помимо русского языка, система также распознаёт английский, турецкий и украинский. Точность распознавания текстов всего потока изображений более 70%. Система поддерживает изображения формата JPEG, GIF и PNG.
