Görsel ürün arama, sıradan bir fotoğraftan ürünü nasıl bulur?

Bir kafede bir koltuk görüyorsunuz ve aynısını istiyorsunuz. Markasını ya da model adını bilmiyorsunuz; metinle arama yapmak çoğunlukla tahminden ibaret. Görsel ürün arama elinizde olan şeyden başlar: bir fotoğraf. Bu, MuskarTech AI Lab’in şu anda üzerinde çalıştığı proje; bu yazı da yaklaşımın nasıl işlediğini anlatıyor.

Anahtar kelimelerin sorunu

Metin araması, bir şeyin adını bildiğinizde işe yarar. Ürünler çoğu zaman tam tersidir: tanıması kolay, adlandırması zor. “Kavisli kolçaklı ahşap koltuk” binlerce ürünle eşleşir ve alışveriş yapan kişinin kullandığı kelimeler katalogdaki kelimelerle nadiren örtüşür. Sistem okuyabildiği sürece bir fotoğraf, bir tariften çok daha fazla bilgi taşır.

1. adım: ürünü tespit et

Gündelik bir fotoğraf dağınıktır. Koltuk bir masanın, bir lambanın ve bir pencerenin yanında durur. İlk adım nesne tespitidir: bir model ürünü karede bulur ve etrafına bir kutu çizer; böylece sonraki her adım odaya değil koltuğa bakar.

Tespit, bir fotoğrafta birden fazla ürün olduğunda aramanın neyle ilgili olduğuna da karar verir. İyi bir sistem kişinin seçmesine izin verir ya da her birini ayrı arar.

2. adım: gömme olarak tanımla

Ardından kırpılmış ürün bir görüntü kodlayıcıdan geçer. Bu sinir ağı resmi bir gömmeye (embedding) dönüştürür: ürünün nasıl göründüğünü, biçimini, malzemesini, rengini ve oranlarını yakalayan bir sayı listesi.

Gömmelerin işe yarayan özelliği, birbirine benzeyen ürünlerin bu sayı uzayında birbirine yakın düşmesidir; fotoğrafların açısı, ışığı ya da arka planı farklı olsa bile. Aynı koltuğun biri showroomda, biri kafede çekilmiş iki fotoğrafı birbirine yakın konumlanmalıdır.

3. adım: katalogla eşleştir

Katalogdaki her ürün önceden aynı şekilde kodlanır. Arama böylece bir geometri problemine dönüşür: sorgu gömmesine en yakın katalog gömmelerini bul. Vektör indeksleri bunu büyük kataloglarda bile hızlı yapar; sonuç, her biri için bir benzerlik skoru olan sıralı bir eşleşme listesidir.

Tek bir cevap yerine skorları döndürmek önemlidir. İnsanların sonucu değerlendirmesine olanak tanır ve dürüst cevap buysa sistemin “bunlar yakın ama hiçbiri birebir eşleşme değil” diyebilmesini sağlar.

Zor olan ne

Zor olan üç adımın kendisi değil, insanların gerçekten çektiği fotoğraflar:

• Açılar ve örtülme. Ürünler yandan, yukarıdan, başka bir şeyin arkasında yarı gizli çekilir.
• Işık. Kafenin sıcak ışığı, ahşap ve kumaşın görünüşünü stüdyo çekimine göre değiştirir.
• Neredeyse aynı ürünler. Kataloglarda yalnızca bir ayrıntıda, örneğin ayak rengi ya da kumaşta ayrışan çok sayıda ürün bulunur.
• Hız ve maliyet. Doğru ama yavaş ya da pahalı çalışan bir model üretimde ayakta kalamaz.

Nasıl ölçüyoruz

Bir görsel arama modeli, değerlendirmesi kadar iyidir. Kullanıcıya ulaşmadan önce gerçek dünyadan ayrılmış bir fotoğraf setinde test eder, doğru ürünün ilk sonuçlar arasında ne sıklıkla çıktığına (genellikle recall@k olarak anılır) bakarız. Bu sayı ve arkasındaki hatalı örnekler, sıradaki adımımızı belirler.

Nerede işe yarar

Görsel ürün arama, fotoğrafın en doğal başlangıç noktası olduğu her yerde faydalıdır: müşterilerin bir mağazada fotoğrafla arama yapması, tedarikçi ya da pazaryeri fotoğraflarının mevcut katalogla eşleştirilmesi ya da bir mağazada veya depoda bir ürünün hızlı bir telefon fotoğrafıyla tanımlanması.

Model kapalı beta aşamasında. Fotoğrafla başlayan bir katalog, pazaryeri ya da envanter probleminiz varsa AI Lab sayfasından betaya katılabilirsiniz.