Akademik Veri Yönetim Sistemi
EMEL E. (Yürütücü), AY CEYLAN Ö.
Yükseköğretim Kurumları Destekli Proje, BAP Doktora, 2022 - 2025
Modern üretimdeki manuel montaj işlemlerinde ortaya çıkan yüksek hata oranları verimlilik ve ürün kalitesi açısından ciddi zorluklar yaratmaktadır. Bu nedenle, manuel montaj işlemlerini gerçek zamanlı izleyerek operatör hatalarını tespit edip anında düzeltmek kritik öneme sahiptir. Son yıllarda, özellikle makine öğrenmesine dayalı çalışmalar ile görüntülenen montaj eylemlerindeki operatör hataları tespit edilerek verilen geri bildirimler sayesinde düzeltilmektedir. Fakat, şimdiye kadar yapılan çalışmalar genellikle el becerisi gerektiren montaj eylemlerini ve el-nesne etkileşimlerini göz ardı etmektedir. Halbuki, montaj eylemleri tamamen el hareketleri ile ellerin birtakım montaj aletleri ve parçalarla olan etkileşimine dayanmaktadır. Bu çalışmada, el becerisi gerektiren montaj eylemlerinin gerçek zamanlı olarak tanınması amacıyla üç boyutlu el eklem koordinatlarının kullanıldığı bir yöntem önerilmektedir. Önerilen hibrit yaklaşım, derin öğrenme tabanlı bir nesne tespiti yöntemi, bir el pozu tahmini algoritması ve Uzun Kısa Süreli Bellek (LSTM) ağı temelli bir sınıflandırıcının bütünleşik olarak çalışacağı şekilde tasarlanmıştır. Hibrit sistemde öncelikle, akan video karelerine YOLOv8 uygulanarak bir montaj eyleminin olası başlangıç noktası tespit edilir. Daha sonra, ilk tespit noktasından farklı bir başlangıç noktasını temsil eden bir başka nesne tespit edilene kadar geçen video karelerinden MediaPipe Hands ile el eklem koordinatları çıkarılır. Elde edilen zaman serisi verilerini uygun montaj eylemi olarak sınıflandırmak amacıyla LSTM temelli bir montaj eylemi tanıma ağı kullanılır. Önerilen yöntemi test etmek amacıyla gerçek bir üretim ortamından toplanan yeni bir veri kümesi oluşturulmuştur. Yapılan bu çalışma sayesinde gerçek zamanlı montaj eylemlerinin tanınması ve yerinin belirlenmesi konusunda sırasıyla %85,23 ve %89,95 doğruluk oranına ulaşılarak operatör verimliliğinin artırılması açısından önemli bir başarı elde edilmiştir.