„Queryable“ durchsucht mit dem Deep-Learning-Modell CLIP eure Fotobibliothek

I built an app called Queryable, which integrates the CLIP model on iOS to search the Photos album OFFLINE. […]

CLIP (Contrastive Language-Image Pre-Training) is a model proposed by OpenAI in 2021. CLIP can encode images and text into representations that can be compared in the same space. CLIP is the basis for many text-to-image models (e.g. Stable Diffusion) to calculate the distance between the generated image and the prompt during training.

Run CLIP on iPhone to Search Photos

Zwei Screenshots, die die Apple Fotobibliothek und Queryable zeigen.

Diese zwei Screenshots demonstrieren, wie viel mehr Treffer Queryable findet, und gleichzeitig wie ungenau es dabei ist. Das geschulte Auge erkennt, dass das hervorgehobene Bild natürlich kein „lightning cable“ ist.

Aber warum zeigt Apples Suche in der Fotos-App ein iPhone? Beim genaueren Hinschauen zeigt sich der erkannte Text.

Bild zeigt iPhone-Texterkennung in Fotos-App.

Queryable erkennt mit seinem KI-Modell nicht spezifisch Text, ordnet aber Wörter und Begriffe dem Bildmaterial zu. Dazu muss es einmalig durch eure Fotodatenbank schauen. weiterlesen

Downie: (YouTube-)Videos auf macOS über einen iOS-Kurzbefehl anstoßen

Die macOS-App Downie bleibt das beste FFmpeg-Frontend um Web-Videos zuverlässig auf die eigene Platte zu laden. So sah im letzten Jahr der Shortcut aus, der dies vom iPhone aus anstößt. Mit iOS 16 vereinfacht sich der „Run Script Over SSH“-Kurzbefehl und sieht jetzt wie folgt aus.

Zwei iOS-Screenshots, die den Downie-Kurzbefehl zeigen.

Am Mac muss unter ➝ „Sharing“ die Option ➝ „Remote Login“ aktiviert sein. Als „Host“ habe ich meine Tailscale-Adresse hinterlegt. So ist es egal, ob ich mich im gleichen Netzwerk befinde, oder unterwegs bin.

Und weil ich den Kurzbefehl häufiger nur aus der Ferne auslöse, speichere ich die Videodateien gleich in einen für mich von überall zugänglichen iCloud-Ordner.

Für den Empfang einer (YouTube-)URL muss Downie am Mac nicht einmal geöffnet sein: Es startet (und schließt) sich von selbst („Run in Automated Mode“). Optional lädt man so auch gleichzeitig eine separate Untertitel-Datei (.srt) oder extrahiert mit Permute die Audiospur des Videos.

Probleme? Einige Video-URLs schaffen es nicht über das Teilen-Menü zum Mac. Kopiert man sich die Webadresse jedoch in die Zwischenablage, und startet den Kurzbefehl von Hand, dann klappt’s. Außerdem stößt sich der Shortcut an URL-Anhängseln wie „?feature=share“.

iOS 16.3 erlaubt Sperrbildschirm-Widgets auf automatisch wechselnden Hintergrundbildern

Bild zeigt iPhone mit Sperrbildschirm.

In Episode #323 über die neuen Sperrbildschirm-Widgets hielt ich fest: „Der Nachteil von automatisch gesetzten Hintergrundbildern: Darauf lassen sich keine Widgets platzieren.“

Apple ändert das Verhalten mit iOS 16.3. Für mich bedeutet das: Meine Automation von Cuto, die zu jedem Sonnenaufgang den bestehenden Lockscreen mit einem neuen Hintergrundbild bestückt, kann nun Widgets besitzen.

Alternative Touchscreen-Geste, um den Bildschirminhalt zu vergrößern/verkleinern

Als Alternative zur klassischen „Spreizgeste“, lege ich oft nur einen Finger aufs Display und zoome durch eine Streichgeste mit einem einzelnen Finger der anderen Hand.

Insbesondere wenn ich im „Tastatur-Griff“ das iPhone halte, greife ich nicht um zur „Zwickgeste“ mit zwei Fingern der gleichen Hand, sondern vergrößere/verkleinere den Bildschirminhalt über jeweils einen Finger von beiden Händen.

Lautstärke-Sync mehrerer HomePods über das Kontrollzentrum

HomePod auf Tisch laut Midjourney.

Benjamin Mayo erinnert an einen alten (kuriosen!) Tipp für alle (vielleicht neuen?) HomePod-Besitzer:innen.

Video

Der Nacon MG-X

„One controller to rule them all…“, egal ob iPhone, iPad, Mac oder Apple TV: Der Nacon MG-X verbindet sich über Bluetooth überallhin, klemmt jedoch Telefone auch „Handheld-Style“ für unterwegs ins Taschenformat.

Bild zeigt iPhone in Nacon MG-X-Controller.

Er ist eine Konkurrenz für den Backbone One – zwei Jahre später. Die Ziehharmonika-Konstruktion bleibt; der Lightning-Stecker fliegt. Bluetooth 5.0 ist unter den Vorzeichen des Wechsels von Apples Telefonen auf USB-C im Moment eine bessere Wahl.

Allerdings verschwindet damit auch die Möglichkeit, kabelgebundene Kopfhörer anzuschließen. Während der Backbone One den Sound an einen Klickenausgang durchschleust, setzt der MG-X ausschließlich auf kabellose Kopfhörer. Die Sprungfeder-gespannte Halterung verdeckt den letzten verbleibenden Port.

Während das iPhone klemmt, lässt es sich deshalb nicht aufladen. Außerdem muss der integrierte Akku des Controllers gelegentlich geladen werden. Mit seiner prognostizierten Laufzeit von 20 Stunden solltet das kein Problem sein, vorausgesetzt man vergisst ihn – als Gelegenheitsspieler – nicht zu laden (ein USB-C-Kabel liegt für die veranschlagten 120 Euro bei). weiterlesen

Ladezyklen und Batterieleistung in iOS/iPadOS anzeigen (via Shortcuts)

Dieser Kurzbefehl funktionierte unter iOS/iPadOS 15; „Battery Check“ durchstöbert „Analytics“-Dateien auf iPhones und iPads in Version 16.

iPad-Screenshot des „Battery Check“-Kurzbefehls.

Der Shortcut filtert den Wert für „MaximumCapacityPercent“ sowie „CycleCount”. Zwei Werte, die man unter ➝ Einstellungen ➝ Datenschutz ➝ Analyse & Verbesserungen ➝ Analysedaten auch selbst ablesen kann.

Zum Ausführen schickt ihr ein aktuelles „Analytics-2023-XX.ips.ca.synced“-File über das Teilen-Menü an den Kurzbefehl.

#340 – AI-Art

Meine Faszination für „AI-Art“ bleibt. Gefühlt habe ich in den vergangenen zwei Monaten jede Woche eine neue Tür der Computer-Malerei aufgestoßen. Dahinter verstecken sich Aspekte, die mich viele Stunden beschäftigen.

Reinschnuppern lohnt sich. Doch bitte, geht mir nicht verloren.

Vimeo

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von Vimeo.
Mehr erfahren

Video laden

PGlmcmFtZSB0aXRsZT0iIzM0MCAtIEFJLUFydCAoUHJldmlldykiIHNyYz0iaHR0cHM6Ly9wbGF5ZXIudmltZW8uY29tL3ZpZGVvLzc5NDgyMjkwNT9kbnQ9MSZhbXA7YXBwX2lkPTEyMjk2MyIgd2lkdGg9IjUwMCIgaGVpZ2h0PSIyNTAiIGZyYW1lYm9yZGVyPSIwIiBhbGxvdz0iYXV0b3BsYXk7IGZ1bGxzY3JlZW47IHBpY3R1cmUtaW4tcGljdHVyZTsgY2xpcGJvYXJkLXdyaXRlIj48L2lmcmFtZT4=

iPhoneBlog #one kann man abonnieren. Alle Abonnent:innen bekommen jede Woche ein neues „Gewusst-wie”-Video, den Zugriff auf alle schon veröffentlichten Episoden und die Einladung zu einer ganz besonderen Community in einem privaten Slack-Kanal.

iPhoneBlog #one ist ausschließlich von Lesern und Leserinnen finanziert und unterstützt direkt das iPhoneBlog.