HANDORA

Genel bakış

HANDORA, kamera görüntüsünden el takibi yaparak bilgisayar girdisi üretmeyi araştırdığım bağımsız prototiptir. MediaPipe/TFLite tabanlı yaklaşımda iki ele farklı görevler verilir: sol el imleci yönlendirirken sağ el tıklama ve kaydırma hareketlerini kontrol eder. El algılama ve kontrol kararlılığı geliştirme sınırları olarak devam etmektedir; çalışma eski medya kontrolü prototipinden ayrıdır.

Problem ve amaç

Kamera üzerinden temas gerektirmeyen bilgisayar kontrolünde imleç hareketini, tıklamayı ve kaydırmayı birbirine karıştırmadan yorumlamak gerekir. Elin izini kaybetmek veya istemsiz hareketleri komut saymak kullanım kararlılığını bozabilir.

Çalışmadaki rolüm

MediaPipe/TFLite tabanlı el takibini iki elli etkileşime dönüştüren prototip geliştirme; sol el ile imleç, sağ el ile tıklama/kaydırma görev ayrımı üzerine çalışma.

Çözüm yaklaşımı

El takibi için MediaPipe/TFLite tabanlı yaklaşım kullanılır. Sol elin hareketleri imleç yönetimine; sağ elin hareketleri tıklama ve scroll işlevlerine ayrılır. Bu görev ayrımı, hareket yorumlama ile bilgisayar girdisi üretimini ayrı sorumluluklar olarak ele alır. Algılama ve stabilite sorunları, prototipin henüz çözülmüş kabul edilmeyen parçalarıdır.

Mimari akış

Kaynak açıklamalarından türetilmiş kavramsal akış; bir uygulama ekran görüntüsü değildir.

Temel bileşenler

• Kamera üzerinden el takibi.
• Sol el ile imleç yönetimi.
• Sağ el ile tıklama ve kaydırma işlevleri.
• İki ele farklı kontrol görevleri veren prototip yaklaşımı.

Teknik zorluklar

• Elin algılanamaması veya izinin kaybolması sırasında kontrolün kararlı kalması.
• İmleç titremesi, hareket algılama kararlılığı ve istemsiz komutlar.
• Kamera, ışık ve el görünürlüğü değişimlerinin etkileşime etkisi.

Mühendislik tercihleri

• İmleç hareketi ile tıklama/kaydırmayı farklı ellere ayırmak.
• Eski gesture-media-control çalışmasıyla ayrı proje kapsamını korumak.
• Algılama ve stabilite sorunlarını giderilmiş bir özellik gibi sunmamak.

Test ve doğrulama

• Bu teknik açıklama, proje sahibinin paylaştığı prototip yaklaşımına dayanır.
• Ölçülmüş algılama başarısı, gecikme veya cihaz uyumluluğu için ayrı bir doğrulama raporu sunulmamıştır.

Çıktılar

• Sol el ile imleç, sağ el ile tıklama/kaydırma görev ayrımına dayalı deneysel kontrol prototipi.
• Kullanılan el takibi yaklaşımı ve devam eden kararlılık sorunları açıklığa kavuşturuldu.

Sınırlar ve mevcut durum

• El algılama ve kontrol stabilitesi üzerinde geliştirme gerekmektedir.
• Platform uyumluluğu, erişilebilirlik ve performans doğrulanmış sonuçlar olarak sunulmaz.
• Canlı demo veya herkese açık kaynak kodu bağlantısı bulunmuyor.