Künstliche Intelligenz (A.I.) in Smartphones verändert die Fotografie

09. Mai 2019

von Vanessa Rasemann

Wie Fotografen von A.I. profitieren und wie professionelle Funktionen in Smartphone-Kameras integriert sind.

Innerhalb von nur zehn Jahren ist die Anzahl der mit Digitalkameras aufgenommenen Fotos exponentiell gewachsen – und steigt weiter. Bereits heute werden fast 90 Prozent aller Fotos mit Smartphones aufgenommen [1]. Dieses rasante Wachstum ist vor allem dadurch zu erklären, dass die “beste” Kamera für die meisten Anwender diejenige ist, die man dabeihat. Aber es gibt noch andere Schlüsselfaktoren, die zum Erfolg der mobilen Fotografie beitragen, vor allem die extreme Benutzerfreundlichkeit und die stetige Verbesserung von Qualität und Handhabung. “Es ist heutzutage nicht ungewöhnlich, dass Smartphones in manchen Situationen bessere Fotos machen als viele spezielle Kameraausrüstungen, zumindest vor der Nachbearbeitung”, schrieb das renommierte Technikmagazin The Verge. [19]

Es liegt auf der Hand, dass der Einsatz von künstlicher Intelligenz in den letzten Jahren der Treiber für das exponentielle Wachstum der Qualität war und die Grenzen weiter verschieben wird.
Das Fotografieren mit Mobilgeräten wird jedoch bald nicht mehr nur eine Frage der Bequemlichkeit sein, sondern – mit Hilfe von A.I. – auch eine der Qualität. Dadurch wird mobiles Fotografieren für Fotoamateure und -profis noch attraktiver. “Künstliche Intelligenz ist vermutlich die wichtigste Innovation für die Fotografie seit der digitalen Revolution vor 25 Jahren. In Smartphones eingsetzt ermöglicht A.I., bessere Bilder zu machen, die auf den Fähigkeiten und Erfahrungen von Profis basieren”, kommentiert Roland Franken, Chefredakteur von digit!.

Qualität und Kompaktheit werden durch A.I. vereinigt

Die Kunst der Fotografie besteht darin, Licht so einzufangen und eine Szene so zu gestalten, dass ansprechende Bildmotive entstehen. Bei Aufnahmen auf Location erreicht das Licht quasi unkontrolliert das Objektiv der Kamera. Mit den richtigen Kenntnissen zu Objektiven, Filtern, dem Aufnahmemedium (Film oder Sensor) und Beleuchtung erzielt ein Fotograf beeindruckende Bilder: indem er die Kameraeinstellungen bestimmt und passende Filter wählt. Jahrzehntelang war die professionelle Fotografie hinter einer Schutzwand aus teurer und meist schwerer Ausrüstung, chemischen Prozessen, Kosten, Wissen und Erfahrung geschützt. Die digitale Technologie hat den Bedarf an Chemie reduziert und die Kosten gesenkt. A.I. wird den Bedarf an aufwendiger Hardware weiter reduzieren und eines Tages vielleicht sogar in die letzten professionellen Hoheitsgebiete eingreifen: visuelle Erfahrung und Wissen”, kommentiert Roland Franken.

Während in der Vergangenheit die technische Qualität eines Fotos vom ausgeklügelten Zusammenspiel von Kamera und Objektiv bestimmt wurde, wird in Zukunft die Software eine stärkere Rolle spielen. A.I. verbindet in der Mobilfotografie Qualität und Kompaktheit.

Wie ist A.I. definiert?

Der Begriff “A.I.” mag zunächst verwirrend erscheinen, da er “Intelligenz” zu implizieren scheint – was für die meisten von uns ein vor allem mit dem Menschen verbundenes Konzept ist. Daher unterscheidet man zwischen “starker” oder “allgemeiner” und “schwacher” oder “spezialisierter” A.I.[15] Letztere ist das, was wir derzeit sehen: Algorithmen, die sich auf bestimmte Aufgaben spezialisiert haben, wie das Erkennen von Gesichtern in Bildern. Die heute am häufigsten verwendete Methode sind so genannte neuronale Netze, die aus dem Bereich des maschinellen Lernens gezogen werden [16]. Der Begriff veranschaulicht gut, was passiert: A.I. Software lernt durch Ausprobieren – ähnlich wie ein Kind – und entwickelt sich dabei dynamisch.

Für die Bilderkennung bedeutet dies beispielsweise, dass ein zukünftiges “intelligentes” System zur Erkennung von Hunden zunächst mit sehr vielen Bildern von Hunden und anderen Tieren präsentiert wird. Am Anfang entscheidet allein der Zufall, ob das Programm einen Hund richtig erkennt. Aber da es jedes Mal Feedback erhält, wenn es richtig war, wird seine Bewertung mit der Zeit immer besser.

Da Computersysteme nicht müde werden und rund um die Uhr lernen, können sie in vergleichsweise kurzer Zeit Lernziele erreichen. Neuronale Netze haben in den letzten Jahren zu rasanten Fortschritten in der A.I.-Szene geführt, insbesondere in der Bilderkennung. Im Jahr 2013 lag die Quote für die Erkennung einzelner Objekte (z. B. “Menschen”, “Hunde”) im größten Forschungswettbewerb, der ImageNet Large Scale Visual Recognition Challenge (ILSVRC), bei nur rund 23 Prozent. Im Folgejahr lag dieser Wert bereits bei 44 Prozent und 2017 bei 73 Prozent[21].

Die Fehlerraten lagen sogar unter denen von Menschen. Heute beherrscht A.I. auch komplexe Szenen wie “Mann führt Hund am Strand spazieren”. Das galt noch vor wenigen Jahren als unerreichbar. Selbst Emotionen auf Gesichtern können heute teilweise identifiziert werden. Aber A.I. kann auch lernen, die Vorlieben einzelner Fotografen in der Postproduktion zu beobachten, um dann diesen Stil automatisch zu reproduzieren. Die Online-Anwendung Deepart.io, die von drei führenden europäischen A.I. Labors entwickelt wurde, zeigt sehr gut, wie dies funktioniert, indem sie den Stil von Meistermalern wie Van Gogh auf hochgeladene Fotos anwendet. [12]

Wie funktioniert A.I. in Kameras?

Die Kombination der beschriebenen Fähigkeiten macht A.I. zu einem äußerst leistungsfähigen Werkzeug für die Fotografie. Nehmen wir ein Beispiel aus der professionellen Hochzeitsfotografie zur Veranschaulichung: Gehen wir davon aus, dass das Hochzeitspaar vor einer tollen Landschaft posiert. In dieser Situation würde ein Fotograf dafür sorgen, dass sowohl Vorder- als auch Hintergrund gut belichtet und gestochen scharf sind. Während des Hochzeitskusses würde der Profi erreichen wollen, dass der Hintergrund mit schönem Bokeh verschwimmt, um die Aufmerksamkeit auf das Paar zu lenken. Ein einfaches automatisches Objekterkennungswerkzeug kann die beiden Situationen unterscheiden, da es nicht in der Lage ist, den Kontext zu verstehen.

Hier kommt A.I. und seine Fähigkeit zum Szenenverständnis ins Spiel: Das HONOR 10 beispielsweise kann mehrere Objekte und interessante Bildbereiche und sogar Gruppen von Objekten im Motiv erkennen. Diese Technik wird als „Semantische Bildsegmentierung“ bezeichnet [9].

Ziel ist es, zu wissen, zu welchem Teil des Motivs – Straße, Person, Baum – jedes einzelne Pixel des Bildes gehört. Basierend darauf kann es dynamisch die Hintergrundunschärfe erzeugen, allein basierend auf der Softwarekalkulation. Die daraus resultierende objektabhängige Schärfe ist ein grundlegender Unterschied zur traditionellen, hardwarebasierten Fotografie, die spezielle Objektiv benötigt und an physikalische Gesetzmäßigkeiten gebunden ist.

A.I entkoppelt die Fotografie von den Grenzen der Physik, die mit der„Fotohardware“ wie dem Objektiv verbunden ist. Konventionelle Digitalkameras haben überwiegend ein sehr vages und allgemeines Wissen darüber, was der Inhalt einer Szene ist. A.I. Kameras hingegen entwickeln einen tieferen Einblick in das Bild. Auf dieser Basis können auch bei schwierigen Lichtverhältnissen und in dynamischen Szenen die richtigen Entscheidungen für Fokus und Belichtung getroffen werden.

Dies verdeutlicht, dass die Bildsegmentierung nur eine Grundlage ist, die fortschrittliche Smartphone Entwickler innovativ einsetzen. Die HONOR-Ingenieure nutzen die Szenenerkennung, um komplexe kamerabasierte Anpassungen unmittelbar umzusetzen, und das mit einer proprietären Methodik, so wie es erfahrene Fotografen im manuellen Modus tun – und in manchen Situationen sogar noch besser machen. Nehmen wir ein weiteres Beispiel aus einem Hochzeits Shooting, das zeigt, wie A.I. ein Gesichtbei verschiedenen Lichtverhältnissen aufhellenkann, um die beste Qualität zu gewährleisten: Wenn Sie das Paar vor einem Sonnenuntergang fotografieren, würden ältere Smartphone-Kameras einfach in den “Sunset Modus” wechseln. Dies würde zwar gute Farbeinstellungen gewährleisten, um den Sonnenuntergang hervorzuheben, aber das Gesicht kann unterbelichtet erscheinen. Wenn die Kamera dagegen in den “Selfie Mode” wechselt, kann es sein, dass die Stimmung des Sonnenuntergangs nicht optimal dargestellt wird. Mit der Semantischen Bildsegmentierung „weiß“ das A.I.-basierte System, dass es zwei Motive gibt, die jeweils unterschiedlich behandelt werden müssen, um das beste Ergebnis zu erhalten.

Wie A.I. bei Videoaufnahmen hilft

Die gute Nachricht für Videofilmer: A.I. ist nicht nur für Fotos da, sondern auch für Videos. In diesem Bereich sind die Vorteile vielleicht sogar noch überzeugender, da das Videofilmen technisch komplexer ist als das Fotografieren. Nehmen wir als Beispiel eine Aufnahme von einem sich bewegenden Objekt. Mit herkömmlichen Kameras ist es eine Herausforderung, den Fokus auf das Hauptmotiv zu legen. Amateure sind schnell überfordert – selbst wenn die Gesichtserkennung in der Kamera aktiviert ist. Mit A.I. ist es nicht nur möglich, einem Motiv zu folgen und zu fokussieren, sondern auch einer bestimmten Person zu folgen, da fortgeschrittene A.I. Personen unterscheiden kann.

Ein weiterer Vorteil der A.I. unterstützter Videografie ist die verbesserte Leistung bei schlechten Lichtverhältnissen. Während bei Fotos mit unbeweglichen Objekten eine Langzeitbelichtung plus Postproduktion das Problem löst, benötigt man bei Videos lichtstarke Objektive wie beim traditionellen Film – oder die neue Generation von Smartphones.

Wie A.I. die Bildnachbearbeitung unterstützt

Die Beispiele zeigen, wie A.I. die Nachbearbeitung unterstützt. HONOR-Kameras erkennen Schlüsselbereiche im Gesicht wie Nase, Wangenknochen und andere wichtige Gesichtsmerkmale, und können daraus die 3D-Konturableiten. Basierend auf dieser Fähigkeit kann die Nachbearbeitung sicherstellen, dass beim Nachbessern der Haut die Gesichtskanten scharf bleiben und wichtige Details in anderen Bereichen erhalten bleiben, so dass die Natürlichkeit der Person erhalten und verbessert wird. In diesem Sinne holt A.I., „die beste Version“ von ihm oder ihr hervor. Dies ist ein bedeutender Fortschritt gegenüber frühen Versuchen der „Selfie-Schönung“, die weniger intelligent waren und dazu neigten, bearbeitete Bereiche zu unscharf zu machen und so unnatürlich aussehende Portraits zu erzeugen.Die neue Generation der HONOR Smartphones kann heute Lichtquellen und Reflektoren emulieren – analog zum Fotostudio. Der Modus Portraitbeleuchtungmoduliert das Bild auf die gewählte Lichteinstellung um. Dies funktioniert, indem die A.I. ein 2D-Foto betrachtet und daraus die 3D-Darstellung berechnet. Bislang bewerteten Forscher dieses Verfahren ohne 3D-Kamera als außerordentlich schwierig [11]. Die mobile Nachbearbeitung ist ein äußerst leistungsfähiger Vorteil gegenüber herkömmlichen Kameras,bei denen die Nachbearbeitung meist am Computer erfolgte und spezielle Software und vor allem umfangreiche Kenntnisse erforderte. A.I.-basierte Kameras machen diese Art der Bildbearbeitung für jedermann verfügbar.

Hardware A.I. betriebene Kameras im Vergleich zu Cloud-Versionen

A.I. benötigt viel Rechnerleistung. Das limitierte die Einsetzbarkeit in Smartphones in der Vergangenheit. Bei Smartphone-A.I. lassen sich, kurz gesagt, zwei Varianten unterscheiden: Bei der einen Variante wird die Verarbeitung der Bilder in die Cloud ausgelagert, bei der anderen wird ein spezieller Chip im Inneren des Smartphones verwendet [18]. Letzteres ist eindeutig die bessere Option, da das Hochladen der Bilder auf spezialisierte Server mit CPU-Clustern in der Cloud negative Auswirkungen auf die Nutzbarkeit und den Stromverbrauch hat. Geringe Bandbreite oder Netzwerkverzögerungen übertragen sich auf die Leistung der Kamera. Da die Reaktionszeit der Kamera für die Benutzer sehr wichtig ist, wird schon die geringste Verzögerung oder verspätete Reaktion wahrgenommen. Diese Reaktion ist ähnlich wie bei Touchscreens, von denen man ebenfalls erwartet, dass sie unmittelbar reagieren. Um die geringere Leistung auszugleichen, entscheiden sich einige Hersteller dafür, weniger Daten zu analysieren, was jedoch zu einer geringeren A.I.-Genauigkeit führen und das Ergebnis negativ beeinflussen kann.

Spezielle A.I.-Smartphone-Prozessor wie die “Neural Processing Unit” (NPU) haben viele Vorteile. Es ist bekannt, dass A.I-Vektor-Berechnung [10] durch spezielle Hardware stark beschleunigt wird. So ist beispielsweise das neue HONOR View 20 bei internen Tests um 75 Prozent schneller und 58 Prozent energieeffizienter als die Vorgängergeneration. Der Kirin 980 Prozessor kann sich schnell an A.I.-Szenen anpassen und erreicht mit der Leistung einer Dual-Core-NPU 4500 Bilder pro Minute, was einer verbesserten Erkennungsgeschwindigkeit von 120% entspricht. Die ausgezeichnete Geschwindigkeit und Effizienz eröffnen die Möglichkeit, mehr Pixel zu erfassen und genauere Daten mit ausgezeichneter Leistung und Energieeffizienz zu erhalten. Zusammenfassend lässt sich sagen, dass eine dedizierteNPU für A.I. fähiger und energieeffizienter ist, weshalb HONOR sich für diese Lösung entschieden hat. Die weiterentwickelten Modelle kombinieren bereits die Leistung von zwei dieser NPUs.

Die Bewertung von A.I. Kameras

Für den Anwender soll eine A.I. Kamera wie eine leistungsstarke mobile Kamera funktionieren: Für die Bedienung sind keine oder nur geringe spezifische Kenntnisse erforderlich. Die Bildqualität sollte deutlich verbessert werden.Und die Kamera sollte auch extrem schnell reagieren, damit sich die Bedienung natürlich anfühlt. Wenn A.I-Berechnungen “auf dem Gerät” statt “in der Cloud” durchgeführt werden, ergibt sich eine wesentlich bessere Reaktionsfähigkeit (geringere Latenzzeiten) und sogar eine höhere Sicherheit, da die Daten während der Netzwerkübertragung nicht abgefangen werden können. Alles in allem sind “hardwarebetriebene” Smartphones mit speziellen NPUs die bessere Wahl.

Für Profis und fortgeschrittene Amateure ist vor allem die Fähigkeit wichtig, den Einfluss der A.I. selektiv aktivieren und die Effekte manuell beeinflussen zu können. [13]

Die Zukunft der Smartphone A.I. Kameras

Die jüngsten Fortschritte bei Smartphone A.I. Kameras sind beeindruckend, aber dies ist wohl erst der Anfang einer Foto-Revolution. Für Fotografen mit professionellem Hintergrund sind A.I. basierte Kameras in Smartphones immer noch einige Schritte hinter dem zurück, was mit professionellem Equipment sicher erreicht werden kann. Aber angesichts der Beschleunigung der Innovationskraft von A.I. könnte es nur wenige Jahre dauern, bis A.I. in der Lage sein wird, Entscheidungen auf professionellem Level zu treffen.

Mit einer verbesserten energieeffizienten Verarbeitung neuronaler Netzwerke werden Technologien wie die Rauschunterdrückungmit A.I. zu einer noch höheren Bildqualität bei wenig Licht führen. Forscher von renommierten Universitäten wie Stanford [5] sowie Unternehmen wie NVIDIA [ 2] betrachten A.I.-Trainingsmethoden, die bei dieser grundlegenden fotografischen Herausforderung helfen könnten [23]. In der Vergangenheit war dies aufgrund der vergleichsweise kleinen Bildsensorgrößen die Schwachstelle von Smartphones. Durch A.I. ist es möglich, eine Reihe von Aufnahmen bei Langzeitbelichtung zu kombinieren. [22] Das HONOR View 20 verwendet diese Technik in seinem AI Ultra Clarity Mode, um bessere Ergebnisse zu erzielen. [24] Dies ist nicht nur für Fotos, sondern auch für Videos relevant. Die Technik hilft nicht nur, Rauschen und Artefakte zu reduzieren, sondern verbessert auch die Details.

Tatsächlich unterstützt A.I. bereits professionelle Designer bei der Auswahl der Motive in Fotobearbeitungs-Apps [3]. Dieser wichtige Schritt in der Bildretusche war früher eine sehr schwierige und langwierige Aufgabe, die von A.I. per Klick übernommen wird.

Computational Photography und A.I. können noch mehr leisten, nicht nur bei der Aufnahme von Fotos (oder Videos), sondern auch bei dem, was passiert, nachdem das Bild als Datei gespeichert wurde: Dies beginnt bei der Bildauswahl und geht über die Retusche und Bearbeitung bis hin zur Animation. Auch bei der Bildauswahl kann A.I. unterstützen. Professionelle Fotografen erzielen erstaunliche Aufnahmen, auch weil sie eine große Zahl an Fotos aufnehmen. Diese Bilder werden überprüft, ausgewählt und bearbeitet. Abgesehen von fotografischen Fähigkeiten spart A.I. auchZeit: Künstliche Intelligenz ermöglicht es Computern, Bilder tausende Male schneller zu überprüfen und auszuwählen (oder zu verwerfen) als ein Mensch. Oder, wie es das renommierte Technologiemagazin “The Verge” ausdrückt “Desorganisierte Bibliotheken von Tausenden von ungetaggten Fotos der Benutzer werden über Nacht in durchsuchbare Datenbanken umgewandelt”. [19] Einmal ausgewählt kann A.I. sie auch auf professioneller Ebene bearbeiten. Solche Lösungen befinden sich heute in der Forschungsphase und zeigen beeindruckende Ergebnisse [4]. Es ist beispielsweise möglich, ein Gruppenfoto nicht mit einer einzelnen Aufnahme entsteht, sondern durch das Fotografieren mehrerer Bilder, die dann mit Hilfe von A.I. zum finalen Foto mit dem freundlichsten Lächeln und offenen Augen aller Personen in nahezu Echtzeit komponiert wird. Oder es werden mehrere Fotos von einer belebten Szene gemacht und mittels A.I. werden Personen herausretuschiert, um eine Postkartenansicht einer Szene zu erzielen.

Zusammenfassung: Die positiven Effekte einer A.I. Kamera für Amateure und Profis

Um das Fotografieren zu erlernen, sind Arbeit und viele Stunden mit Lernen und Experimentieren. In Zeiten von Instagram & Co. möchte jeder beeindruckende Fotos „wie ein Profi“ machen. Künstliche Intelligenz kann dazu beitragen, das fotografische Wissen der letzten 100 Jahre durch maschinelles Lernen für mehr Menschen nutzbar zu machen. “Wir nutzen die Leistungsfähigkeit der Technologie, um den Benutzern die Möglichkeit zu geben, die bestmöglichen Fotos zu machen”, kommentiert Jimmy Xiong, General Manager von HONOR. [17]

Künstliche Intelligenz kann dazu beitragen, bessere Fotos zu machen und diese sofort zu teilen. Sie kann auch fortgeschrittenen Amateuren helfen, ihre Fähigkeiten zu entwickeln. Durch den Blick in die Szene und die Analyse von Objekten, Personen, Gebäuden und Beleuchtung können A.I.-Algorithmen lernen, die Absicht eines Fotografen zu verstehen und ihm zu helfen, in der nächsten ähnlichen Situation bessere Bilder zu machen.

Selbst erfahrene Fotografen können von A.I. profitieren, weil es dieAbläufe erheblich beschleunigt. A.I. kann viel schneller reagieren als ein menschlicher Fotograf. Und sie kann Routineaufgaben schneller und einfacher erledigen. In der Praxis werden A.I.-Kameras für Fotos im vollautomatischen Modus eingesetzt. Dadurch wird der Fotograf von alltäglichen Aufgaben befreit und kann sich auf wesentliche Dinge wie die Bildkomposition oder die Kommunikation mit dem Modell konzentrieren und so technisch hochwertige Bilder erzielen. Roland Franken prognostiziert mit Blick auf die Zukunft: “Ich erwarte, dass sich A.I. in Zukunft wie ein perfekter Caddy eines Golfers verhalten wird: Die individuellen Fähigkeiten, Stärken und Schwächen des Spielers zu kennen, die richtigen Werkzeuge auszuwählen, die Umgebungsbedinungen zu analysieren und den richtigen Zeitpunkt für den perfekten Schuss zu definieren”.

Einige professionelle Fotografen erkennen diese Möglichkeiten und betrachten mobile Kameras als ein wichtiges Werkzeug, das ihnen zur Verfügung steht [7][8]. In der professionellen Welt helfen Smartphones z.B. beim Location-Scouting oder Making-of-Aufnahmen zu einer Produktion. Semiprofessionelle Content-Ersteller wie Instagramer und Influencer wenden sich der mobilen Fotografie zu. Das Zeitalter des Internets und der sozialen Medien ist durch ein hohes Tempo definiert, das schnelle Reaktion rund um die Uhr erfordert. Unter diesen Umständen empfiehlt sich Smartphone, das eine hohe Rechenleistung zur Bildverarbeitung nutzt.