Skip to content

What’s new in scanned music import

How Flat for Education turns PDFs and photos of sheet music into editable scores: model versions, what is recognized, what got fixed.

The same engine powers Opuscan and the OMR API. This page lists the changes as they reach Flat for Education.

All changes

Записи автоматически переведены с английского. Прочитать оригинал на английском

В сентябрь

24 небольших изменений
7 августа·Улучшения·

Новая версия модели с поддержкой неявных триолей и других туpletов

Новая версия нашей собственной модели теперь используется при каждом импорте PDF и фотографий и уделяет особое внимание тому, как tuplets напечатаны на странице.

  • Теперь поддерживаются неявные tuplets. Гравёры обычно печатают маленькую «3» или «6» над первой триолью или секстолью в пассаже, а следующие группы оставляют без обозначения — предполагается, что исполнитель сам продолжит этот ритмический рисунок. Такие неотмеченные группы — это неявные tuplets: они исполняются как tuplets, хотя на нотной странице это никак не указано. Они очень часто встречаются в изданиях XIX века, этюдах и вариациях. Теперь при сканировании они восстанавливаются по ритму такта, вместо того чтобы удалять ноты ради соответствия размеру.
  • Меньше tuplets, придуманных на пустом месте. Раньше модель могла отмечать обычные группы под общим ребром как триоли, даже если над ними не было напечатано никакой цифры, и эти цифры появлялись в вашей партитуре. Теперь tuplet записывается только там, где он действительно указан на странице.

Также в август

16 небольших изменений
29 июля·Улучшения·

Новая версия модели с упором на точность распознавания сканов нот

Новая версия нашей собственной модели теперь используется для каждого импорта PDF и фотографий и показывает на 22%–51% меньше ошибок в наших тестах распознавания сканированных нот. Наибольший прирост заметен на более сложных страницах — старых гравированных изданиях и при неравномерной печати.

24 июля·Улучшения·

Новая версия модели с упором на исправления нотации

Улучшенная версия собственной модели Flat теперь используется для импорта всех PDF-файлов и фотографий, в частности:

  • Теперь поддерживаются многоголосные фрагменты с общими паузами и невидимыми паузами.
  • Тактовые черты и окончания повторов (вольты) теперь правильно размещаются внутри тактов.
  • Группировка нот рёбрами теперь распознаётся надёжнее.
  • Обозначения размера, записанные через несколько нотоносцев, как в оркестровых партитурах, теперь распознаются.
  • Исправлены некоторые буквенно-цифровые обозначения аккордов, которые экспортировались в MusicXML с нестандартным типом аккорда.
15 июля·Новое·

Импорт PDF или фотографий в редактируемую партитуру с этапом проверки

В веб-приложении появился новый процесс импорта нот из PDF или фотографии, основанный на собственном движке распознавания Flat. Теперь он заменяет прежний импорт PDF для всех пользователей.

  • Выберите нужные страницы. Загрузите PDF или несколько фотографий, затем оставьте только те страницы, на которых есть ноты. Каждая сохранённая страница расходует один кредит.
  • Следите за распознаванием по мере его выполнения. Индикатор прогресса показывает, на каком этапе находится сканирование, страница за страницей, и вы можете продолжать пользоваться Flat, пока оно выполняется.
  • Проверьте перед созданием партитуры. Если движок не уверен в инструменте, он попросит вас подтвердить название и обнаруженные инструменты; рядом с каждым будут показаны названия партий, напечатанные на странице. Если все инструменты распознаны уверенно, этот шаг пропускается.

Доступно в Flat и, для преподавателей и администраторов, в Flat for Education. Новый процесс появится в приложении iOS в ближайшие недели.

10 июля·Новое·

OMR теперь доступен как API для разработчиков

Модуль OMR от Flat теперь доступен программно через API для разработчиков. Отправляйте PDF-файлы или фотографии, отслеживайте ход распознавания, проверяйте обнаруженные инструменты, а затем импортируйте результат как редактируемую партитуру в библиотеку Flat или экспортируйте в MusicXML или MIDI. Это та же внутренняя модель, которая лежит в основе импорта PDF и фотографий в редакторе, а теперь она доступна в масштабе для ваших собственных приложений и рабочих процессов.

Специализированный OMR API (v2.24.0) основан на фоновом импорте PDF, добавленном при создании партитуры в v2.23.0: запрашивайте поддержку задач при импорте файла и опрашивайте задачу, пока партитура не будет готова. Подробности по обоим выпускам смотрите в журнале изменений API.

Также в июль

8 небольших изменений
23 июня·Улучшения·

Более точный анализ страницы для сложных макетов

Мы улучшили распознавание макета страницы при сканировании. Импорт PDF-файлов и фотографий теперь даёт более чистые и точные партитуры, особенно при сложной компоновке:

  • Плотные страницы теперь разделяются правильно. Страницы с большим количеством коротких систем, расположенных друг над другом, больше не объединяются — каждая система распознаётся отдельно.
  • Лучше для оркестровых партитур и больших ансамблей. Инструменты с несколькими нотоносцами, такие как фортепиано и орган, а также большие партитуры с множеством нотоносцев распознаются надёжнее.
  • Широкие, альбомные страницы и буклеты. У альбомных страниц больше не обрезается левый край (из-за чего могли пропадать ключи), а многостраничные сканы и сканы буклетов теперь обрабатываются корректно.
  • Меньше случайных распознаваний. Посторонние элементы рядом с нижними колонтитулами и полями страницы больше не принимаются за нотный текст.
15 июня·Улучшения·

Более точная модель

Теперь каждый импорт PDF и фотографий обрабатывается собственной внутренней моделью Flat. В этом выпуске представлена крупная новая версия, сосредоточенная на точности распознавания: музыкальная корректность (ноты, ритмы, лиги, знаки альтерации — всё, что определяет правильность партитуры) улучшена на всех тестовых наборах, а наибольший прирост достигнут в следующих областях:

  • Динамика: +39%
  • Ферматы, артикуляция, лиги, знаки альтерации: +30 to 37%
  • Длительности нот: +22%
  • Лиги фразировки, ноты с точкой, паузы, назначение нотоносца и голоса: +14 to 20%

Текст, динамика и размещение элементов в нотной записи также стали точнее: слова, буквенно-цифровые обозначения аккордов и динамические обозначения теперь надёжнее привязываются к правильным нотам, в том числе в сложной записи, например на фортепианных системах из двух нотоносцев и в партиях со сменой ключа.

1 июня·Новое·

Начинается внедрение нашей собственной модели ИИ

Мы начинаем внедрять собственную модель ИИ Flat для импорта PDF и фотографий, разработанную и обученную внутри компании, чтобы заменить сторонний движок, использенный при запуске. Полный контроль над технологией позволяет нам ещё больше повышать точность, расширять набор распознаваемых элементов, выпускать улучшения значительно быстрее и лучше согласовывать результаты с собственным форматом нотации Flat, чтобы импортированные партитуры естественно вписывались в остальную часть продукта. Уже в этом первом выпуске распознаётся гораздо больше музыкального материала:

Более широкий охват нотации. Теперь распознаются:

  • Буквенно-цифровые обозначения аккордов, корректно кодируемые по их музыкальному значению как редактируемые аккорды, а не просто как обычный текст
  • Повторы тактов и ритмические слэши
  • Обозначения темпа и метрономические указания (с BPM)

Текст и слова на большем числе языков. По умолчанию распознаются слова песен, репетиционные буквы и другой текст на языках с латиницей, а также на японском, корейском и китайском.

Более точное соответствие исходной вёрстке. Теперь импортированные партитуры гораздо точнее следуют макету исходной партитуры, сохраняя число тактов в строке, систем на странице и общую структуру. Это особенно заметно на больших и сложных партитурах, например в оркестровых произведениях и для многострочных инструментов, таких как фортепиано. Также поддерживается больше форматов страниц, включая альбомные страницы, которые раньше не поддерживались.

Также в июнь

8 небольших изменений

Ищете что-то более раннее?

Описание более ранних обновлений доступно в блоге Flat — выпуск за выпуском.