Что нового в импорте сканированных нот

Новая версия нашей модели распознавания теперь обрабатывает все импортируемые PDF и фотографии. Она основана на новой архитектуре, которая подробнее анализирует каждую нотную строку, и обучена на более качественном наборе примеров. Точность распознавания выросла для 24 из 26 типов нотного материала, на которых мы её тестируем.

• Соединительные и фразировочные лиги различаются лучше. Дуга, соединяющая две разные ноты, теперь гораздо реже распознаётся как соединительная лига, из-за которой меняется высота второй ноты.
• Нотные станы без звучащих нот распознаются надёжнее. В полной партитуре стан с паузами на протяжении всей строки реже заполняется вымышленными нотами ударных или исчезает из своей партии.
• Длительные паузы подсчитываются точнее. Последовательность из 20 или более пустых тактов теперь гораздо ближе к указанной в нотах длине, вместо того чтобы превращаться в десятки лишних тактов.
• Меньше ошибочных нот. По сравнению с предыдущей версией ошибок в высоте нот стало примерно на 8% меньше, ошибок в распознавании групп особого ритмического деления — на 17%, а аккордов — на 10%.
• Положение нот на странице определяется точнее. Это помогает привязывать слова, динамические обозначения и другие знаки к нужным нотам.

Мы обновили модель сканирования, уделив особое внимание музыкальным размерам, ключам и многотактовым паузам.

• Больше размеров распознаётся так, как они напечатаны. Теперь модель распознаёт 29 размеров, а также обозначения обычного и сокращённого размера. В этом месяце добавлены 6/4, 7/4, 8/4, 9/4, 10/8, 11/8, 13/8, 14/8, 15/8, 9/16, 11/16, 13/16, 15/16 и 17/16, которые встречаются в народной, джазовой и современной музыке. Раньше они заменялись более привычными размерами (10/8 превращался в 12/8, а 8/4 — в 5/4), длительности в тактах переставали сходиться, и ноты удалялись, чтобы их подогнать. См. полный список поддерживаемых обозначений.
• Многотактовые паузы сохраняют свою фактическую длительность. В партиях духового или симфонического оркестра число над многотактовой паузой показывает, сколько тактов нужно отсчитать. Теперь это число считывается неправильно гораздо реже. Раньше «10» могло превратиться в 100, и в партии появлялись десятки лишних пустых тактов.
• Строки без ключа сохраняют правильную высоту нот. Во многих партиях, особенно в джазовых партитурах и старых изданиях, ключ печатается только на первой строке страницы. Раньше модель пыталась угадать ключ для остальных строк, и при ошибке все ноты на строке смещались вверх или вниз. Теперь такие строки сохраняют ключ предыдущей строки.
• Меньше обозначений, которых нет на странице. Маленькая «3» над триолью больше не распознаётся как аппликатура, октавная линия (8va) не добавляется там, где её нет, а нотоносец, на котором вся строка содержит только паузы, больше не заполняется нотами ударных.
• Больше нот попадает в партитуру. Если в распознанном такте суммарная длительность нот превышает допустимую для его размера, часть нот приходится пропускать, чтобы длительности сошлись. Теперь ритм и размеры распознаются точнее, поэтому это происходит гораздо реже: при тестовом импорте пропало примерно на 70% меньше нот.

Новая версия нашей собственной модели теперь используется при каждом импорте PDF и фотографий и уделяет особое внимание тому, как tuplets напечатаны на странице.

• Теперь поддерживаются неявные tuplets. Гравёры обычно печатают маленькую «3» или «6» над первой триолью или секстолью в пассаже, а следующие группы оставляют без обозначения — предполагается, что исполнитель сам продолжит этот ритмический рисунок. Такие неотмеченные группы — это неявные tuplets: они исполняются как tuplets, хотя на нотной странице это никак не указано. Они очень часто встречаются в изданиях XIX века, этюдах и вариациях. Теперь при сканировании они восстанавливаются по ритму такта, вместо того чтобы удалять ноты ради соответствия размеру.
• Меньше tuplets, придуманных на пустом месте. Раньше модель могла отмечать обычные группы под общим ребром как триоли, даже если над ними не было напечатано никакой цифры, и эти цифры появлялись в вашей партитуре. Теперь tuplet записывается только там, где он действительно указан на странице.

Приложения для Mac и Windows теперь могут преобразовать PDF или фотографию нотного листа в редактируемую партитуру с тем же этапом проверки, что и в веб-версии.

• Импортируйте, не выходя из приложения. Выберите файл, проверьте, что распознало сканирование, и откройте партитуру.
• Покупайте AI credits прямо в приложении через Mac App Store, чтобы импорт не прерывался из-за перехода на сайт.

Новая версия нашей собственной модели теперь используется для каждого импорта PDF и фотографий и показывает на 22%–51% меньше ошибок в наших тестах распознавания сканированных нот. Наибольший прирост заметен на более сложных страницах — старых гравированных изданиях и при неравномерной печати.

Улучшенная версия собственной модели Flat теперь используется для импорта всех PDF-файлов и фотографий, в частности:

• Теперь поддерживаются многоголосные фрагменты с общими паузами и невидимыми паузами.
• Тактовые черты и окончания повторов (вольты) теперь правильно размещаются внутри тактов.
• Группировка нот рёбрами теперь распознаётся надёжнее.
• Обозначения размера, записанные через несколько нотоносцев, как в оркестровых партитурах, теперь распознаются.
• Исправлены некоторые буквенно-цифровые обозначения аккордов, которые экспортировались в MusicXML с нестандартным типом аккорда.

В веб-приложении появился новый процесс импорта нот из PDF или фотографии, основанный на собственном движке распознавания Flat. Теперь он заменяет прежний импорт PDF для всех пользователей.

• Выберите нужные страницы. Загрузите PDF или несколько фотографий, затем оставьте только те страницы, на которых есть ноты. Каждая сохранённая страница расходует один кредит.
• Следите за распознаванием по мере его выполнения. Индикатор прогресса показывает, на каком этапе находится сканирование, страница за страницей, и вы можете продолжать пользоваться Flat, пока оно выполняется.
• Проверьте перед созданием партитуры. Если движок не уверен в инструменте, он попросит вас подтвердить название и обнаруженные инструменты; рядом с каждым будут показаны названия партий, напечатанные на странице. Если все инструменты распознаны уверенно, этот шаг пропускается.

Доступно в Flat и, для преподавателей и администраторов, в Flat for Education. Новый процесс появится в приложении iOS в ближайшие недели.

Модуль OMR от Flat теперь доступен программно через API для разработчиков. Отправляйте PDF-файлы или фотографии, отслеживайте ход распознавания, проверяйте обнаруженные инструменты, а затем импортируйте результат как редактируемую партитуру в библиотеку Flat или экспортируйте в MusicXML или MIDI. Это та же внутренняя модель, которая лежит в основе импорта PDF и фотографий в редакторе, а теперь она доступна в масштабе для ваших собственных приложений и рабочих процессов.

Специализированный OMR API (v2.24.0) основан на фоновом импорте PDF, добавленном при создании партитуры в v2.23.0: запрашивайте поддержку задач при импорте файла и опрашивайте задачу, пока партитура не будет готова. Подробности по обоим выпускам смотрите в журнале изменений API.

Мы улучшили распознавание макета страницы при сканировании. Импорт PDF-файлов и фотографий теперь даёт более чистые и точные партитуры, особенно при сложной компоновке:

• Плотные страницы теперь разделяются правильно. Страницы с большим количеством коротких систем, расположенных друг над другом, больше не объединяются — каждая система распознаётся отдельно.
• Лучше для оркестровых партитур и больших ансамблей. Инструменты с несколькими нотоносцами, такие как фортепиано и орган, а также большие партитуры с множеством нотоносцев распознаются надёжнее.
• Широкие, альбомные страницы и буклеты. У альбомных страниц больше не обрезается левый край (из-за чего могли пропадать ключи), а многостраничные сканы и сканы буклетов теперь обрабатываются корректно.
• Меньше случайных распознаваний. Посторонние элементы рядом с нижними колонтитулами и полями страницы больше не принимаются за нотный текст.

Теперь каждый импорт PDF и фотографий обрабатывается собственной внутренней моделью Flat. В этом выпуске представлена крупная новая версия, сосредоточенная на точности распознавания: музыкальная корректность (ноты, ритмы, лиги, знаки альтерации — всё, что определяет правильность партитуры) улучшена на всех тестовых наборах, а наибольший прирост достигнут в следующих областях:

• Динамика: +39%
• Ферматы, артикуляция, лиги, знаки альтерации: +30 to 37%
• Длительности нот: +22%
• Лиги фразировки, ноты с точкой, паузы, назначение нотоносца и голоса: +14 to 20%

Текст, динамика и размещение элементов в нотной записи также стали точнее: слова, буквенно-цифровые обозначения аккордов и динамические обозначения теперь надёжнее привязываются к правильным нотам, в том числе в сложной записи, например на фортепианных системах из двух нотоносцев и в партиях со сменой ключа.

Мы начинаем внедрять собственную модель ИИ Flat для импорта PDF и фотографий, разработанную и обученную внутри компании, чтобы заменить сторонний движок, использенный при запуске. Полный контроль над технологией позволяет нам ещё больше повышать точность, расширять набор распознаваемых элементов, выпускать улучшения значительно быстрее и лучше согласовывать результаты с собственным форматом нотации Flat, чтобы импортированные партитуры естественно вписывались в остальную часть продукта. Уже в этом первом выпуске распознаётся гораздо больше музыкального материала:

Более широкий охват нотации. Теперь распознаются:

• Буквенно-цифровые обозначения аккордов, корректно кодируемые по их музыкальному значению как редактируемые аккорды, а не просто как обычный текст
• Повторы тактов и ритмические слэши
• Обозначения темпа и метрономические указания (с BPM)

Текст и слова на большем числе языков. По умолчанию распознаются слова песен, репетиционные буквы и другой текст на языках с латиницей, а также на японском, корейском и китайском.

Более точное соответствие исходной вёрстке. Теперь импортированные партитуры гораздо точнее следуют макету исходной партитуры, сохраняя число тактов в строке, систем на странице и общую структуру. Это особенно заметно на больших и сложных партитурах, например в оркестровых произведениях и для многострочных инструментов, таких как фортепиано. Также поддерживается больше форматов страниц, включая альбомные страницы, которые раньше не поддерживались.