Fingertip electrocardiogram and speech signal based biometric recognition system

Abstract

Fingertip electrocardiogram and speech signal based biometric recognition system In this research work, we presented a one-dimensional CNN-based person identification system which depends on the combination of both speech and ECG modalities to improve the overall performance compared to traditional systems. The proposed method has two approach: one is to develop combination of textindependent speech and fingertip ECG fusion system, the other one is to develop a robust rejection algorithm to prevent unauthorized access to the fusion system. In addition to the system robustness, we have developed an ECG spike and inconsistent beats removing algorithm, which detect and remove the problems caused by either portable fingertip ECG devices or movements of the patients. First approach has been tested on 30, 45, 60, 75 and 90 people which were taken from LibriSpeech Corpus database and combination of both CYBHi and our private fingertip ECG database. The 3-fold cross validation test setup has been conducted while system working time was set to 10 seconds. In the first experiment, we achieved 90.22% accuracy rate for 90 people for ECG based system. For the speech based system, 97.94% accuracy rate has achieved for 90 people. For the combination of both system, 99.92% accuracy rate has been achieved. For the second approach, 90 people for ECG and Speech database were being used as genuine class, 26 people as imposter class, and after the performance evaluation in optimum rejection thresholds, 71.08% accuracy rate for imposters rejection and 71.05% accuracy rate for genuine recognition has achieved for ECG based system. For the speech based system, imposter class were 87.82% accurately rejected while genuine classes were 86.48% accurately identified. The combination of both system has achieved 91.68% accuracy for genuine identification rate whereas 96.05% accuracy for imposter rejection.

Araştırmamızda, geleneksel sistemlere nazaran genel performansı iyileştirmek adına hem konuşma hem de EKG sinyallerinin kombinasyonuna dayanan tek boyutlu CNN tabanlı kişi tanıma sistemi geliştirilmiştir. Önerdiğimiz sistem, iki yaklaşım içermektedir: Bunlardan ilki, metinden bağımsız konuşma ve parmak ucu EKG füzyonu ile bir tanıma sistemi elde etmek, diğeri ise bu geliştirilen füzyon tanıma sisteminin yetkisiz kişileri önlemesine yarayan güçlü bir reddetme algoritması geliştirmektir. Bu yaklaşımlara ek olarak, taşınabilir parmak ucu EKG cihazlarının ya da kullanıcının hareketlerinin neden olduğu tutarsızlıkları veya benzeri sorunları tespit etmek ve ortadan kaldırmaya yarayan bir algoritma da geliştirilmiştir. İlk yaklaşım, Libri Speech Corpus ses veri tabanı ve CYBHi veri tabanı ile daha önceden oluşturduğumuz parmak ucu EKG veri tabanlarının birleşiminden alınan 30, 45, 60, 75 ve 90 kişi üzerinde test edilmiştir. 3 kat çapraz doğrulama yöntemiyle, sistem 10 saniyeye yanıt verecek şekilde ayarlanarak testler gerçekleştirilmiştir. İlk deneyde, EKG tabanlı sistemin, 90 kişi üzerinden %90.22 doğruluk oranına ulaştığı saptanmıştır. Konuşma tabanlı sistemin ise 90 kişi üzerinden %97.94 doğruluk oranına ulaştığı tespit edilmiştir. Her iki sinyalin kombinasyonu ise %99.92 doğruluk oranına sahip olduğu gözlemlenmiştir. İkinci yaklaşımda ise, EKG ve konuşma veri tabanlarından 90 kişi hakiki sınıf, 26 kişi ise sahtekar sınıfı olarak ikiye ayrılmıştır ve en uygun reddetme eşit değerlerine ayarlandığı göz önünde bulundurarak %71.05 doğrulukla hakiki sınıfı tanıdığı ve %71.08 doğrulukla sahtekar sınıfı reddettiği, EKG tabanlı sistemde tespit edilmiştir. Konuşma tabanlı sistemin ise, %86.48 doğrulukla hakiki sınıfı tanıdığı, %87.82 doğrulukla da sahtekar sınıfı reddettiği tespit edilmiştir. Her iki sistemin kombinasyonu ile, %91.68 doğrulukla hakiki sınıfı tanıdığı, %96.05 doğrulukla da sahtekar sınıfı reddettiği gözlemlenmiştir.