Neuigkeiten zum Import gescannter Noten

Eine neue Version unseres Scanmodells verarbeitet jetzt alle importierten PDFs und Fotos. Sie basiert auf einer neuen Architektur, die jede Notenzeile genauer untersucht, und wurde mit einem bereinigten Satz von Beispielen trainiert. Bei 24 der 26 Musikarten, mit denen wir sie testen, ist sie genauer.

• Haltebögen und Bindebögen werden besser unterschieden. Ein Bogen zwischen zwei unterschiedlichen Tönen wird jetzt deutlich seltener als Haltebogen gelesen, der die Tonhöhe der zweiten Note verändert.
• Pausierende Notensysteme werden zuverlässiger erkannt. In einer Partitur wird ein Notensystem, das eine ganze Zeile lang pausiert, seltener mit erfundenen Schlagzeugnoten gefüllt oder aus seiner Stimme entfernt.
• Lange Pausen werden genauer gezählt. Eine Folge von 20 oder mehr leeren Takten kommt der gedruckten Länge deutlich näher, statt zu Dutzenden zusätzlicher Takte zu werden.
• Weniger falsche Noten. Etwa 8% weniger Tonhöhenfehler, 17% weniger Fehler bei N-tolen und 10% weniger Akkordfehler als in der vorherigen Version.
• Noten werden auf der Seite genauer lokalisiert. So werden Liedtext, Dynamikangaben und andere Zeichen der jeweils richtigen Note zugeordnet.

Unser Scanmodell wurde aktualisiert. Der Schwerpunkt liegt auf Taktarten, Notenschlüsseln und Mehrtaktpausen.

• Mehr Taktarten werden wie gedruckt erkannt. Das Modell kennt jetzt 29 Taktarten sowie den 4/4-Takt mit C-Zeichen und Alla breve. Neu in diesem Monat sind: 6/4, 7/4, 8/4, 9/4, 10/8, 11/8, 13/8, 14/8, 15/8, 9/16, 11/16, 13/16, 15/16 und 17/16, wie sie in Folk, Jazz und zeitgenössischer Musik vorkommen. Zuvor wurden sie durch eine geläufigere Taktart ersetzt (aus 10/8 wurde 12/8, aus 8/4 wurde 5/4). Dadurch stimmte die Zahl der Schläge pro Takt nicht mehr, und Noten wurden entfernt, damit die Takte aufgingen. Siehe alle unterstützten Notationsarten.
• Mehrtaktpausen behalten ihre tatsächliche Länge. In Band- und Orchesterstimmen gibt eine Zahl über einer langen Pause an, wie viele Takte zu zählen sind. Diese Zahl wird jetzt deutlich seltener falsch gelesen. Zuvor konnte aus „10“ eine 100 werden, sodass Ihre Stimme Dutzende zusätzliche leere Takte enthielt.
• Notenzeilen ohne Schlüssel behalten die richtige Tonhöhe. In vielen Stimmen, besonders in Jazz-Arrangements und älteren Ausgaben, steht der Notenschlüssel nur auf der ersten Zeile der Seite. Bisher hat das Modell für die übrigen Zeilen einen Schlüssel geschätzt. Lag es falsch, wurden alle Noten der Zeile nach oben oder unten verschoben. Jetzt übernehmen diese Zeilen den Schlüssel der vorherigen Zeile.
• Weniger Dinge, die nicht auf der Seite stehen. Eine kleine „3“ über einer Triole wird nicht mehr als Fingersatz gelesen, eine nicht gedruckte Oktavlinie (8va) wird nicht mehr hinzugefügt, und eine Notenzeile, die durchgehend pausiert, wird nicht mehr mit Schlagzeugnoten gefüllt.
• Mehr Ihrer Noten landen in der Partitur. Wenn ein Takt mit mehr Schlägen gelesen wird, als die Taktart zulässt, müssen einige Noten weggelassen werden, damit der Takt aufgeht. Da Rhythmen und Taktarten jetzt genauer erkannt werden, passiert das deutlich seltener: Bei den von uns getesteten Importen fehlten etwa 70% weniger Noten.

Eine neue Version unseres hauseigenen Modells verarbeitet jetzt alle PDF- und Fotoimporte und konzentriert sich darauf, wie Tuplets auf der Seite gesetzt sind.

• Implizite Tuplets werden jetzt unterstützt. Notenstecher drucken die kleine „3“ oder „6“ meist nur über der ersten Triole oder Sextole einer Passage; die folgenden Gruppen bleiben dann ohne Kennzeichnung – von den Spielenden wird erwartet, dass sie das Muster fortführen. Diese unmarkierten Gruppen sind implizite Tuplets: Sie werden als Tuplets gespielt, obwohl nichts Entsprechendes notiert ist. Sie kommen sehr häufig in Ausgaben des 19. Jahrhunderts, Etüden und Variationen vor. Beim Scannen werden sie jetzt aus dem Rhythmus des Taktes rekonstruiert, statt Noten wegzulassen, damit der Takt zur Taktart passt.
• Weniger frei erfundene Tuplets. Das Modell markierte früher gewöhnliche Balkengruppen als Triolen, selbst wenn keine Zahl darüber stand, und diese Zahlen erschienen dann in deiner Partitur. Jetzt schreibt es ein Tuplet nur noch dort, wo auf der Seite tatsächlich eines notiert ist.

Die Mac- und Windows-Apps können jetzt eine PDF-Datei oder ein Foto von Noten mit demselben Prüfschritt wie im Web in eine bearbeitbare Partitur umwandeln.

• Importieren, ohne die App zu verlassen. Wähle eine Datei aus, prüfe, was der Scan erkannt hat, und öffne die Partitur.
• AI credits direkt in der App im Mac App Store kaufen, damit ein Import nicht durch einen Abstecher auf die Website unterbrochen wird.

Eine neue Version unseres hauseigenen Modells steckt jetzt hinter jedem PDF- und Fotoimport und reduziert die Fehler in unseren Benchmarks für gescannte Noten um 22 % bis 51 %. Am größten sind die Verbesserungen bei schwierigeren Seiten – älteren Stichen und ungleichmäßigem Druck.

Eine verbesserte Version von Flats internem Modell verarbeitet nun jeden PDF- und Fotoimport, insbesondere:

• Mehrstimmige Passagen mit gemeinsam genutzten Pausen und unsichtbaren Pausen werden jetzt unterstützt.
• Taktstriche und Wiederholungsklammern (Volten) werden nun innerhalb der Takte korrekt platziert.
• Balken werden zuverlässiger erkannt.
• Taktarten, die sich wie in Orchesterauszügen über mehrere Notensysteme erstrecken, werden nun erkannt.
• Einige Akkordsymbole wurden korrigiert, die mit einem nicht standardisierten Akkordtyp nach MusicXML exportiert wurden.

Der Import von Noten aus einer PDF-Datei oder einem Foto hat in der Web-App einen neuen Ablauf, basierend auf Flats eigener Erkennungs-Engine. Er ersetzt den bisherigen PDF-Import für alle.

• Wähle die gewünschten Seiten aus. Lade eine PDF-Datei oder mehrere Fotos hoch und behalte nur die Seiten, die die Musik enthalten. Jede Seite, die du behältst, verbraucht einen Credit.
• Verfolge die Erkennung während des Vorgangs. Ein Fortschrittsbalken zeigt seitenweise an, wie weit der Scan ist, und du kannst Flat währenddessen weiter benutzen.
• Prüfe alles, bevor die Partitur erstellt wird. Wenn die Engine sich bei einem Instrument nicht sicher ist, bittet sie dich, den Titel und die erkannten Instrumente zu bestätigen; die auf der Seite gedruckten Stimmenbezeichnungen werden jeweils daneben angezeigt. Wenn alle Instrumente eindeutig erkannt werden, wird dieser Schritt übersprungen.

Verfügbar in Flat und für Lehrkräfte und Administratoren auch in Flat for Education. Der neue Ablauf kommt in den nächsten Wochen in die iOS-App.

Die OMR-Engine von Flat ist jetzt programmatisch über die Developer API verfügbar. Sende PDFs oder Fotos, verfolge den Erkennungsfortschritt, prüfe die erkannten Instrumente und importiere das Ergebnis dann als bearbeitbare Partitur in eine Flat-Bibliothek oder exportiere MusicXML oder MIDI. Es ist dasselbe hauseigene Modell, das den PDF- und Fotoimport im Editor ermöglicht, und steht jetzt in großem Maßstab für deine eigenen Apps und Workflows zur Verfügung.

Die dedizierte OMR-API (v2.24.0) baut auf dem Hintergrundimport von PDFs auf, der in v2.23.0 zur Partiturerstellung hinzugefügt wurde: Fordere beim Importieren einer Datei Aufgabenunterstützung an und frage die Aufgabe ab, bis die Partitur bereit ist. Details zu beiden Releases findest du im API-Änderungsprotokoll.

Wir haben verbessert, wie der Scan das Seitenlayout liest. Beim Import von PDFs und Fotos entstehen jetzt sauberere und genauere Noten, besonders bei komplexen Layouts:

• Dichte Seiten werden jetzt korrekt getrennt. Seiten mit vielen kurzen, übereinander gestapelten Systemen werden nicht mehr zusammengeführt – jedes System wird separat erkannt.
• Besser bei Orchester- und großen Ensemblepartituren. Instrumente mit mehreren Notensystemen wie Klavier und Orgel sowie große Partituren mit vielen Systemen werden zuverlässiger erkannt.
• Breite Seiten, Querformat und Booklet-Layouts. Seiten im Querformat werden links nicht mehr abgeschnitten (wodurch Schlüssel verloren gehen konnten), und mehrseitige sowie Booklet-Scans werden korrekt verarbeitet.
• Weniger Streuerkennungen. Irrelevante Elemente in der Nähe von Fußzeilen und Seitenrändern werden nicht mehr als Musik erkannt.

Alle PDF- und Fotoimporte werden jetzt mit Flats eigenem, intern entwickelten Modell verarbeitet. Diese Veröffentlichung ist eine wichtige neue Version mit Fokus auf die Genauigkeit der Transkription: Die musikalische Korrektheit (Noten, Rhythmen, Haltebögen und Vorzeichen, die darüber entscheiden, ob eine Partitur stimmt) verbessert sich in allen Testsätzen, mit den größten Fortschritten bei:

• Dynamikangaben: +39 %
• Fermaten, Artikulationszeichen, Haltebögen, Vorzeichen: +30 bis 37 %
• Notendauern: +22 %
• Phrasierungsbögen, punktierten Noten, Pausen, System- und Stimmenzuordnung: +14 bis 20 %

Auch die Platzierung von Text, Dynamikangaben und Layout ist präziser: Liedtext, Akkordsymbole und Dynamikangaben werden zuverlässiger den richtigen Noten zugeordnet, auch in komplexen Layouts wie Klaviernoten mit Akkolade und Stimmen mit Schlüsselwechseln.

Wir führen Flats eigenes KI-Modell für den Import von PDFs und Fotos ein. Es wurde intern entwickelt und trainiert, um die beim Start verwendete Drittanbieter-Engine zu ersetzen. Wenn wir die Technologie vollständig selbst kontrollieren, können wir die Genauigkeit weiter verbessern, den Umfang der Erkennung erweitern, Verbesserungen deutlich schneller bereitstellen und die Ergebnisse an Flats eigenes Notationsformat anpassen, damit sich Importe nahtlos in den Rest des Produkts einfügen. Diese erste Version liest bereits deutlich mehr Ihrer Musik:

Breitere Notationsabdeckung. Neu erkannt werden:

• Akkordsymbole, korrekt mit ihrer musikalischen Bedeutung als bearbeitbare Akkorde kodiert und nicht nur als einfacher Text
• Taktwiederholungen und Rhythmus-Slashes
• Tempo- und Metronomangaben (mit BPM)

Liedtext und Text in mehr Sprachen. Liedtext, Probebuchstaben und anderer Text werden standardmäßig in Sprachen mit lateinischer Schrift sowie in Japanisch, Koreanisch und Chinesisch erkannt.

Näher am ursprünglichen Layout. Importe folgen jetzt dem Layout der Ausgangspartitur deutlich genauer und übernehmen die Anzahl der Takte pro Zeile, der Systeme pro Seite und die Gesamtstruktur. Das macht sich besonders bei großen, komplexen Partituren wie Orchesterwerken und bei Instrumenten mit mehreren Systemen wie Klavier bemerkbar. Außerdem werden mehr Seitenformate unterstützt, darunter Querformatseiten, die zuvor nicht unterstützt wurden.