Audio Copy-Move Forgery Detection with High-Resolution Spectrograms and XFeat Deep Features

Abstract

Audio copy-move forgery is performed by pasting a segment taken from the same audio recording back into the same recording at a different time interval. Because the forgery is performed within the same recording, the source/target segment having the same channel and background characteristics makes forgery detection quite difficult. For this purpose, in the proposed study, the signal is converted into high-resolution spectrogram images, and repetitive time-frequency patterns are matched with XFeat-based deep local descriptors. Candidate matches are filtered with frequency coherence and temporal discreteness constraints; pseudo-matches are eliminated with descriptor similarity and patch-level NCC verification. The clustering of verified matches in time offset gives the dominant shift with histogram voting, and the boundaries of the forged segment are localized based on this shift. Thanks to the local texture-based matching and multi-stage verification structure, the method offers a robust detection/localization profile against attacks by preserving repetitive spectral patterns even under degradation conditions. The method was evaluated using accuracy and F-measure in TIMIT-ACMF, Arabic-ACMF, and Turkish-ACMF datasets under attack-free and different attack conditions; the highest results were obtained as follows: Arabic-ACMF (attack-free) 92.50% / 92.50%, TIMIT-ACMF (attack-free) 90.62% / 89.86%, and Turkish-ACMF (median filtering) 90.64% / 91.41%.Ses kopyala–taşı sahteciliği aynı ses kaydı içinden alınan bir segmentin tekrar aynı kayda farklı bir zaman aralığında yapıştırılmasıyla gerçekleştirilmektedir. Sahteciliğin aynı kayıt içerisinde yapılması nedeniyle, kaynak/hedef segment aynı kanal ve arka plan karakteristiğine sahip olması sahtecilik tespitini oldukça güçleştirmektedir. Bu amaçla önerilen çalışmada, sinyal yüksek çözünürlüklü spektrogram görüntülerine dönüştürülerek XFeat tabanlı derin yerel tanımlayıcılarla tekrarlayan zaman–frekans örüntüleri eşleştirilir. Aday eşleşmeler frekans tutarlılığı ve zamansal ayrıklık kısıtlarıyla süzülür; tanımlayıcı benzerliği ve yama düzeyi NCC doğrulamasıyla yalancı eşleşmeler elenir. Doğrulanan eşleşmelerin zaman ofsetinde kümelenmesi histogram oylama ile baskın kaymayı verir ve bu kayma üzerinden sahte segment sınırları lokalize edilir. Yerel doku-temelli eşleştirme ve çok aşamalı doğrulama yapısı sayesinde yöntem, bozulma koşullarında dahi tekrar eden spektral örüntüleri koruyarak ataklara karşı dayanıklı bir tespit/lokalizasyon profili sunar. Yöntem, TIMIT-ACMF, Arabic-ACMF ve Türkçe-ACMF veri setlerinde ataksız ve farklı saldırı koşullarında doğruluk ve F-ölçümü ile değerlendirilmiş; en yüksek sonuçlar Arabic-ACMF (ataksız) %92,50 / %92,50, TIMIT-ACMF (ataksız) %90,62 / %89,86 ve Türkçe-ACMF (medyan filtreleme) %90,64 / %91,41 olarak elde edilmiştir.