Ich muss sagen, auf die Super Resolution in My Media Tools bin ich inzwischen wirklich ein bisschen stolz. Was ursprünglich als Experiment angefangen hat, ist mittlerweile eine ziemlich beeindruckende Machine-Learning-Image-Pipeline geworden.
Die eigentliche Detailrekonstruktion läuft vollständig lokal auf dem Gerät über Core ML und Real-ESRGAN. Das Bild wird dabei in einzelne Tiles zerlegt, vom ML-Modell mit 2× Auflösung rekonstruiert und anschließend wieder zu einem hochauflösenden Gesamtbild zusammengesetzt. Metadaten werden dabei soweit möglich übernommen und das Original bleibt vollständig erhalten – außer man entscheidet sich anschließend bewusst dafür, es zu löschen.
Inzwischen habe ich die Image Pipeline zusätzlich parallelisiert: Zwei Tiles können gleichzeitig durch Core ML verarbeitet werden. Core ML verteilt die eigentliche Inferenz wiederum selbst auf die verfügbare Hardware wie CPU, GPU und Neural Engine. Gerade auf leistungsfähigen Apple-Silicon-Geräten macht sich das bei der Verarbeitungszeit deutlich bemerkbar.
Das Ganze läuft ohne Cloud, ohne Upload und ohne externen Server direkt auf iPhone und iPad.
Wenn ich mir überlege, was da inzwischen im Hintergrund passiert, bin ich schon ziemlich stolz darauf, so eine Technologie selbst in meine App integriert und auf die Geräte optimiert zu haben.
Der Inhalt kann nicht angezeigt werden, da du keine Berechtigung hast, diesen Inhalt zu sehen.
Der Inhalt kann nicht angezeigt werden, da du keine Berechtigung hast, diesen Inhalt zu sehen.