Wat is er nieuw in het importeren van gescande bladmuziek

Een nieuwe versie van ons scanmodel leest nu alle geïmporteerde PDF's en foto's. Het model is gebaseerd op een nieuwe architectuur die elke regel muziek gedetailleerder bekijkt en is getraind met een schonere verzameling voorbeelden. Het is nauwkeuriger bij 24 van de 26 soorten muziek waarop we het testen.

• Overbindingsbogen en legatobogen worden beter onderscheiden. Een boog tussen twee verschillende noten wordt nu veel minder vaak gelezen als een overbindingsboog die de toonhoogte van de tweede noot verandert.
• Stille notenbalken worden betrouwbaarder gelezen. In een volledige partituur wordt een notenbalk die een hele regel rust bevat minder vaak gevuld met niet-bestaande drumnoten of weggelaten uit de bijbehorende partij.
• Lange rusten worden nauwkeuriger geteld. Een reeks van 20 of meer lege maten komt veel dichter bij het gedrukte aantal maten, in plaats van tientallen extra maten te krijgen.
• Minder verkeerde noten. Ongeveer 8% minder toonhoogtefouten, 17% minder fouten in antimetrische figuren en 10% minder akkoordfouten dan in de vorige versie.
• Noten worden nauwkeuriger op de pagina gelokaliseerd. Hierdoor worden liedteksten, dynamische tekens en andere aanduidingen beter aan de juiste noot gekoppeld.

Ons scanmodel is bijgewerkt, met speciale aandacht voor maatsoorten, sleutels en meermaatsrusten.

• Meer maatsoorten worden gelezen zoals ze gedrukt staan. Het model herkent nu 29 maatsoorten, plus de C-maat en de alla-brevemaat. Deze maand zijn toegevoegd: 6/4, 7/4, 8/4, 9/4, 10/8, 11/8, 13/8, 14/8, 15/8, 9/16, 11/16, 13/16, 15/16 en 17/16, die veel voorkomen in folk, jazz en hedendaagse muziek. Voorheen werden ze vervangen door een bekendere maatsoort (10/8 werd 12/8, 8/4 werd 5/4). Daardoor klopten de maten niet meer en werden noten verwijderd om ze passend te maken. Bekijk alle notatie die door de scanfunctie wordt ondersteund.
• Meermaatsrusten behouden hun werkelijke lengte. In partijen voor harmonieorkest en orkest geeft het getal boven een lange rust aan hoeveel maten je moet tellen. Dat getal wordt nu veel minder vaak verkeerd gelezen. Voorheen kon een '10' veranderen in 100, waardoor je partij tientallen extra lege maten kreeg.
• Notenbalken zonder sleutel behouden de juiste toonhoogte. In veel partijen, vooral jazzpartijen en oudere uitgaven, staat de sleutel alleen op de eerste notenbalk van de pagina. Het model probeerde voor de andere balken een sleutel te raden. Als die gok verkeerd was, verschoof de toonhoogte van elke noot op de balk. Die balken nemen nu de sleutel van de vorige balk over.
• Minder elementen die niet op de pagina staan. Een kleine '3' boven een triool wordt niet meer als vingerzetting gelezen, er wordt geen octaaflijn (8va) toegevoegd als die niet gedrukt staat en een notenbalk waarop een hele regel lang niets wordt gespeeld, wordt niet meer gevuld met drumnoten.
• Meer van je noten komen in de partituur terecht. Als in een maat meer tellen worden gelezen dan de maatsoort toestaat, moeten sommige noten worden weggelaten om de maat kloppend te maken. Omdat ritmes en maatsoorten nu nauwkeuriger worden gelezen, gebeurt dit veel minder vaak: bij de imports die we hebben getest, ontbraken ongeveer 70% minder noten.

Een nieuwe versie van ons eigen model verwerkt nu alle PDF- en foto-imports, met speciale aandacht voor hoe tupletten op de pagina worden gedrukt.

• Impliciete tupletten worden nu ondersteund. Graveurs zetten het kleine "3" of "6" meestal alleen boven het eerste triool- of sextoolgroepje van een passage, en laten de groepen erna zonder aanduiding staan — van de speler wordt verwacht dat die het patroon voortzet. Die ongemarkeerde groepen zijn impliciete tupletten: ze worden als tupletten gespeeld, zonder dat er iets gedrukt staat om dat aan te geven. Ze komen veel voor in 19e-eeuwse edities, studies en variaties. Bij het scannen worden ze nu gereconstrueerd op basis van het ritme van de maat, in plaats van noten weg te laten om de maat passend te maken binnen de maatsoort.
• Minder tupletten uit de lucht gegrepen. Het model markeerde gewone gebalkte groepen vroeger soms als triool, ook als er geen cijfer boven stond afgedrukt, en die cijfers verschenen dan in je partituur. Nu schrijft het alleen een tuplet wanneer die daadwerkelijk op de pagina staat aangegeven.

De Mac- en Windows-apps kunnen nu een pdf of een foto van bladmuziek omzetten in een bewerkbare partituur, met dezelfde controlestap als op het web.

• Importeer zonder de app te verlaten. Kies een bestand, controleer wat de scan heeft gelezen en open de partituur.
• Koop AI-tegoeden in de app in de Mac App Store, zodat een import niet wordt onderbroken doordat je naar de website moet.

Een nieuwe versie van ons eigen model wordt nu gebruikt voor elke PDF- en foto-import, met 22% tot 51% minder fouten in onze benchmarks voor gescande bladmuziek. De grootste winst zien we op lastigere pagina’s: oudere gravures en ongelijkmatige afdrukken.

Een verbeterde versie van Flats eigen model ondersteunt nu elke import van PDF's en foto's, in het bijzonder:

• Meerstemmige passages met gedeelde rusten en onzichtbare rusten worden nu ondersteund.
• Maatstrepen en volta's worden nu correct binnen maten geplaatst.
• Balken worden betrouwbaarder herkend.
• Maatsoorten die over meerdere notenbalken zijn geschreven, zoals in orkestpartituren, worden nu herkend.
• Een probleem opgelost waarbij sommige akkoordsymbolen met een niet-standaard akkoordtype naar MusicXML werden geëxporteerd.

Het importeren van bladmuziek uit een PDF of foto heeft een nieuwe workflow in de webapp, gebaseerd op Flat's eigen herkenningsengine. Deze vervangt de vorige PDF-import voor iedereen.

• Kies de pagina's die je wilt. Upload een PDF of meerdere foto's en houd alleen de pagina's over die de muziek bevatten. Elke pagina die je bewaart, kost één credit.
• Volg de herkenning terwijl die loopt. Een voortgangsbalk laat per pagina zien hoe ver de scan is, en je kunt Flat blijven gebruiken terwijl het proces doorgaat.
• Controleer voordat de partituur wordt gemaakt. Als de engine niet zeker is over een instrument, vraagt die je om de titel en de gedetecteerde instrumenten te bevestigen, waarbij de partijnamen die op de pagina staan naast elk instrument worden getoond. Als alle instrumenten zeker zijn herkend, wordt deze stap overgeslagen.

Beschikbaar in Flat en, voor docenten en beheerders, in Flat for Education. De nieuwe workflow komt in de komende weken naar de iOS-app.

De OMR-engine van Flat is nu programmatisch beschikbaar via de developer API. Verstuur pdf's of foto's, volg de voortgang van de herkenning, controleer de gedetecteerde instrumenten en importeer het resultaat vervolgens als een bewerkbare partituur in een Flat-bibliotheek, of exporteer het als MusicXML of MIDI. Het is hetzelfde interne model dat het importeren van pdf's en foto's in de editor aandrijft, en is nu op schaal beschikbaar voor je eigen apps en workflows.

De speciale OMR API (v2.24.0) bouwt voort op de pdf-import op de achtergrond die in v2.23.0 aan het aanmaken van partituren is toegevoegd: vraag om taakondersteuning bij het importeren van een bestand en poll de taak totdat de partituur klaar is. Zie de API-wijzigingslog voor de details van beide releases.

We hebben verbeterd hoe scans de lay-out van een pagina lezen. Importen van pdf's en foto's leveren nu schonere, nauwkeurigere partituren op, vooral bij complexe lay-outs:

• Dichte pagina's worden nu correct gesplitst. Pagina's met veel korte systemen boven elkaar worden niet langer samengevoegd: elk systeem wordt afzonderlijk gedetecteerd.
• Beter voor orkestpartituren en grote ensembles. Instrumenten met meerdere notenbalken, zoals piano en orgel, en grote partituren met veel notenbalken worden betrouwbaarder herkend.
• Brede, liggende en boekjeslay-outs. Bij liggende pagina's wordt de linkerrand niet langer afgesneden (waardoor sleutels konden wegvallen), en scans van meerdere pagina's en boekjes worden correct verwerkt.
• Minder losse foutdetecties. Storende elementen bij voetteksten en marges worden niet langer als muziek opgepikt.

Elke import van PDF’s en foto’s wordt nu verwerkt door Flats eigen interne model. Deze release is een belangrijke nieuwe versie die zich richt op transcriptienauwkeurigheid: de muzikale correctheid (de noten, ritmes, overbindingen en voortekens die bepalen of een partituur klopt) verbetert in alle testsets, met de grootste winst in:

• Dynamiek: +39%
• Fermates, articulaties, overbindingen, voortekens: +30 tot 37%
• Nootduren: +22%
• Bogen, gepunte noten, rusten, toewijzing aan notenbalk en stem: +14 tot 20%

Ook de plaatsing van tekst, dynamiek en lay-out is nauwkeuriger: liedtekst, akkoordsymbolen en dynamiek worden betrouwbaarder aan de juiste noten gekoppeld, ook in complexe lay-outs zoals pianogrote notenbalken en partijen met sleutelwisselingen.

We rollen Flat's eigen AI-model uit voor het importeren van PDF's en foto's. Het is intern ontworpen en getraind ter vervanging van de externe engine die bij de lancering werd gebruikt. Doordat we de technologie van begin tot eind zelf beheren, kunnen we de nauwkeurigheid verder verbeteren, meer notatie herkennen, verbeteringen veel sneller uitbrengen en de resultaten afstemmen op Flat's eigen notatieformaat, zodat imports beter aansluiten op de rest van het product. Deze eerste release leest nu al veel meer van je muziek:

Breder notatiebereik. Nieuw herkend:

• Akkoordsymbolen, correct gecodeerd met hun muzikale betekenis als bewerkbare akkoorden, niet alleen als platte tekst
• Maatherhalingen en ritmeslashes
• Tempoteksten en metronoomaanduidingen (met BPM)

Songteksten en tekst in meer talen. Songteksten, repetitiemarkeringen en andere tekst worden standaard herkend in talen met Latijns schrift, plus Japans, Koreaans en Chinees.

Getrouwer aan de oorspronkelijke lay-out. Imports volgen nu veel nauwkeuriger de lay-out van de bronpartituur, met hetzelfde aantal maten per regel, systemen per pagina en dezelfde algemene structuur. Dat maakt echt verschil bij grote, complexe partituren, zoals orkestwerken en instrumenten met meerdere notenbalken, zoals piano. Ook meer paginaformaten worden ondersteund, waaronder liggende pagina's die eerder niet werden ondersteund.