HANDORA
MediaPipe/TFLite tabanlı el takibiyle sol eli imleç yönetimine, sağ eli tıklama ve kaydırmaya ayıran deneysel bilgisayar kontrol prototipi.
Yazılım & Backend / Bilgisayarlı görü / Deneyler & Arşiv
Hareketle Medya Kontrolü
Webcam hareketini veya haricî YOLO el algılamasını medya klavye kısayollarına dönüştürmeyi araştıran, iki bağımsız script içeren erken bilgisayarlı görü prototipi.
Kategori için özgün kod tabanlı illüstrasyon; ürün ekran görüntüsü değildir.
Genel bakış
Koleksiyon, arka plan farkı ve kontur merkezi geçmişi kullanan bir hareket deneyi ile haricî best.pt modelinde el sınıfı arayan bir YOLO deneyini içerir. OpenCV görüntü akışını işler; PyAutoGUI aktif uygulamaya klavye komutları gönderir. Bu tarihsel çalışma, sonraki HANDORA sistemiyle aynı ürün olarak sunulmaz.
Çalışmadaki rolüm: Depoda korunan erken bilgisayarlı görü ve masaüstü girdi deneyleri. Katkı dağılımı veya ürünleştirme rolü ayrıca belgelenmiyor.
Temel bileşenler
- Yatay hareketten Ctrl+Left/Right türetme deneyi.
- Sabit kontur konumundan Space tetikleme.
- Haricî YOLO hand sınıfıyla medya komutu deneyi.
- Görüntü penceresi, çıkış ve hareket deneyinde arka plan sıfırlama.
Doğrulama ve mevcut durum
- Kaynak sözdizimi incelendi; kamera açılmadı ve klavye komutu gönderilmedi.
- Haricî best.pt modeli sağlanmadı veya çalıştırılmadı.
- Otomatik işlev paketi ya da platformlar arası benchmark bulunmuyor.
- Model dosyası haricîdir ve rastgele bir ağırlık dosyasıyla değiştirilemez.
- Scriptler modül seviyesinde kamera/girdi döngüsü başlatır.
- Gerçek kamera görüntüleri veya kişisel kayıtlar portföye alınmaz; lisans dosyası yok.
Ek teknik ayrıntıları göster
Problem ve amaç
Basit kamera hareketlerinin masaüstü medya kontrolüne dönüştürülmesi, görüntüdeki gürültü ile kullanıcının niyetini ayırmayı gerektirir. Işık, arka plan ve aktif uygulamanın kısayolları sonucu etkiler; yanlış algılama gerçek klavye girdisi üretebilir.
Çözüm yaklaşımı
İlk script büyük konturun yatay hareket geçmişinden önceki/sonraki parça ve sabit beklemeden oynat/duraklat komutları türetir. İkinci script güvenilir bir haricî YOLO modelinde hand sınıfını arar ve gecikme aralığıyla medya komutu gönderir. İki yaklaşım bağımsız tutulur; doğrulanmış algılama başarısı veya ortak ürün mimarisi iddia edilmez.
Mimari akış
- OpenCV ile yerel webcam kareleri.
- Arka plan farkı/kontur geçmişi veya haricî YOLO modeli.
- Eşik ve zaman aralığına bağlı komut tetikleme.
- PyAutoGUI ile aktif uygulamaya gerçek klavye girdisi.
Teknik zorluklar
- Işık ve arka plan hareketine duyarlı eşikler.
- Haricî modelin sınıf adları ve uyumlu ağırlık gereksinimi.
- Kamera/erişilebilirlik izinleri ve aktif uygulama kısayolları.
Mühendislik tercihleri
- İki script ayrı deneyler ve HANDORA’dan ayrı tarihsel çalışma olarak tanımlanır.
- Model ağırlıkları depoya eklenmez; güvenilir model girdisi gerekir.
- Import sırasında kamera ve klavye yan etkileri nedeniyle import smoke testi kullanılmaz.
Çıktılar
- Hareket tabanlı ve model tabanlı kontrol fikirlerini gösteren iki korunmuş prototip.
- Algılama doğruluğu, gecikme veya gerçek medya uygulaması uyumluluğu ölçülmedi.
Teknik anlatım açık iyileştirme PR’sindeki belgeleri de esas alır. PR’nin ana dala birleştirildiği veya ürünün yayımlandığı anlamına gelmez.