Ausblick: Echte KI-Super-Resolution für My Media Tools
In den 6 Stunden habe ich relativ intensiv (aber nebenher das iPhone übertragen lassen) an einer neuen Super-Resolution-Funktion gearbeitet. Das Ziel war dabei nicht einfach nur, ein Bild mathematisch größer zu skalieren, sondern tatsächlich zusätzliche Bilddetails mithilfe eines Machine-Learning-Modells zu rekonstruieren.
Der erste Ansatz war Apples eigene VideoToolbox Super Resolution. Apple stellt dafür mit VTFrameProcessor und VTSuperResolutionScalerConfiguration inzwischen eine sehr interessante native Pipeline zur Verfügung, die direkt auf der Hardware des Geräts arbeitet.
Technisch funktionierte die Implementierung letztlich auch. Dabei gab es allerdings einige Besonderheiten: Auf meinem Testgerät stellte VideoToolbox beispielsweise ausschließlich einen nativen Skalierungsfaktor von 4× zur Verfügung. Bei hochauflösenden iPhone-Fotos entstehen dadurch sehr schnell enorme Bildgrößen und entsprechend hohe Anforderungen an Arbeitsspeicher und Pixelbuffer. Bei meinem iPad Air M3 lief es in ein Speicher-/Pixelbuffer-Limit (das hat nur 8GB RAM). Beim iPad Air M4 13" mit 12GB lief es durch.
Deshalb habe ich die Verarbeitung zunächst auf kontrollierte Bildausschnitte umgestellt und einen direkten A/B-Vergleich eingebaut. Original, Apples Super Resolution und eine klassische Lanczos-Skalierung konnten dabei auf exakt derselben Bildstelle miteinander verglichen und bis zu 30-fach vergrößert werden.
Das überraschende Ergebnis: Obwohl Apples Pipeline technisch korrekt durchlief, war bei meinen Testbildern praktisch kein überzeugender zusätzlicher Detailgewinn gegenüber einer konventionellen Skalierung zu erkennen. Für eine Funktion, die ausdrücklich „Super Resolution“ heißen soll, war mir das schlicht nicht genug.
Also habe ich den Ansatz noch einmal komplett geändert.
Real-ESRGAN x4plus + Core ML
Die neue Implementierung verwendet Real-ESRGAN x4plus, das ich als Core-ML-Modell direkt in My Media Tools integriert habe. Real-ESRGAN ist ein neuronales Super-Resolution-Verfahren: Es vergrößert die vorhandenen Pixel nicht lediglich durch Interpolation, sondern versucht, anhand der im Training erlernten Strukturen plausible hochauflösende Details zu rekonstruieren.
Das Modell wird für die App als Core-ML-Modell kompiliert und anschließend vollständig lokal ausgeführt. Es gibt keinen Upload und keine Cloud-Verarbeitung. Das ausgewählte Foto bleibt während der gesamten Verarbeitung auf dem iPhone bzw. iPad.
Auch die eigentliche Integration war interessanter als erwartet. Die Bilddaten müssen zunächst exakt in das vom neuronalen Netz erwartete Eingabeformat gebracht werden. Dazu gehören unter anderem die korrekte RGB-Normalisierung und das notwendige Padding. Nach der Inferenz liefert Core ML die berechneten Daten als MLMultiArrayzurück. Die Ausgabe des Netzes liegt dabei als mehrdimensionaler Tensor im NCHW-Format – also Batch, Farbkanal, Höhe und Breite – vor und muss anschließend wieder korrekt in RGB-Bilddaten zurückverwandelt werden. Danach wird das zuvor hinzugefügte Padding wieder entfernt und die Ausgabe für die weitere Bildverarbeitung aufbereitet.
Der aktuelle interne Qualitätstest arbeitet zunächst mit einer kontrollierten Eingangsgröße und berechnet daraus über Real-ESRGAN eine 4× höhere Auflösung. Für den Vorher-/Nachher-Vergleich wird das komplette Ausgangsbild proportional eingepasst. Der Vergleich ist interaktiv: Die Trennlinie lässt sich frei verschieben, Bildposition und Zoom bleiben synchron und für die Detailkontrolle kann sehr weit in das Ergebnis hineingezoomt werden.
Damit kann ich unmittelbar vergleichen, was tatsächlich vom ML-Modell kommt und was eine normale Lanczos-Skalierung aus demselben Ausgangsmaterial macht.
Warum dieser Aufwand?
Ich möchte die Funktion erst veröffentlichen, wenn der Qualitätsgewinn nicht nur auf dem Papier vorhanden ist. „4ד allein sagt schließlich überhaupt nichts darüber aus, ob am Ende tatsächlich ein besseres Bild entsteht. Aus 3.000 × 4.000 Pixeln rechnerisch 12.000 × 16.000 Pixel zu erzeugen, ist trivial. Entscheidend ist, was mit den zusätzlichen Pixeln passiert.
Genau deshalb laufen momentan noch interne Tests mit unterschiedlichen Motiven, Detailstrukturen und Ausgangsqualitäten.
Wenn diese Tests abgeschlossen sind und die Ergebnisse meinen Erwartungen entsprechen, wird die neue Real-ESRGAN-Super-Resolution mit einem der nächsten Builds von My Media Tools online gehen.
Besonders spannend finde ich dabei, wo die Entwicklung inzwischen angekommen ist: Eine solche KI-basierte Bildrekonstruktion kann vollständig lokal auf einem iPhone oder iPad laufen – ohne Server, ohne Cloud und ohne dass das eigene Foto das Gerät verlassen muss.
Darauf bin ich gerade wirklich ein bisschen stolz. Nach einigen Stunden Testen, Verwerfen und Optimieren läuft jetzt tatsächlich Real-ESRGAN x4plus als kompiliertes Core-ML-Modell direkt in meiner App und v.a. vollständig lokal auf iPhone und iPad, ohne Cloud oder Server.
Und das Entscheidende: Das Ergebnis ist sensationell. Nicht einfach nur viermal mehr Pixel, sondern sichtbar rekonstruierte Details und eine Bildqualität, bei der man im direkten Vorher-/Nachher-Vergleich wirklich einen Unterschied sieht.
Schon ziemlich verrückt, was man inzwischen direkt auf einem iPad umsetzen kann. 😊
