Tensör Temsiliyle Büyük Veri Öğrenimi

Bu sayfa, yüksek lisans tezim Tensör Temsiliyle Büyük Veri Öğrenimi için ana sayfadır. Tezi Tarbiat Modares Üniversitesinde Dr. Mansoor Rezghi danışmanlığında yazdım ve 2019'da savundum. Sayfa aynı zamanda, tezi sade bir dille anlatan kısa yazılardan oluşan Tensor Notları serisinin başlangıç noktasıdır.

Tek paragrafta ana fikir

Öğrenme yöntemlerinin çoğu, işe başlamadan önce veriyi uzun vektörlere düzleştirir. Bu, görüntülerin, videoların ve sinyallerin yapısını bozar ve veriyi gerektiğinden çok daha büyük hale getirir. Tez, veriyi doğal çok boyutlu biçiminde, yani tensör olarak tutar ve doğrudan bu biçimden öğrenir. Temelinde, kosinüs dönüşümüne dayanan bir tensör çarpımı olan tc-çarpımı ile bunun üzerine kurulan tc-SVD ayrışımı yer alır. İyi bilinen t-SVD, verinin üçüncü modunun iki ucunda başa sardığını varsayar. tc-SVD ise bunun yerine ayna (yansıtıcı) sınır kullanır ve böylece ayrık kosinüs dönüşümü tüm hesaplamaları gerçel sayılarda tutar. Kosinüs dönüşümüne dayanan çok yakın bir çarpım Kernfeld, Kilmer ve Aeron'un (2015) çalışmasında da yer alır; tezin katkısı, tc-SVD üzerine kurulan öğrenme yöntemleri ve bunların değerlendirilmesidir. Deneylerimde tc-SVD, benzer doğrulukla, karşılaştırmaların neredeyse tamamında t-SVD'den hızlıydı; çoğu zaman iki kat.

t-SVD şemasını okumak

Açıklamalı t-SVD. Mor ve camgöbeği, k ranklı bir kesmenin koruduğu kısımları gösterir; numaralar aşağıda açıklanıyor.

Şemadaki her şeklin belirli bir anlamı var:

1. X, n₁×n₂×n₃ boyutundaki veri tensörüdür. Ön yüz onun ilk ön dilimidir; arkasındaki soluk çizgiler de üçüncü mod boyunca uzanan diğer dilimlerdir. Tezde görüntüler sınıflandırılırken her görüntü bir yanal dilimdir (n₁×1×n₃); dolayısıyla n₂ örnek sayısıdır.
2. ∗, sıradan matris çarpımı değil, t-çarpımıdır. Şemadaki her sembol bir tensördür ve her çarpım üçüncü mod boyunca işler.
3. U (n₁×n₁×n₃) ortogonaldir: U^T ∗ U birim tensördür. Yanal dilimleri sol tekil vektörlerin rolünü üstlenir; mor blok bunların ilk k tanesidir, yani kesilmiş bir ayrışımın koruduğu tabandır.
4. S (n₁×n₂×n₃) f-köşegendir. Her ön dilimi köşegen bir matristir; bu yüzden sıfırdan farklı girdiler yalnızca köşegen boyunca önden arkaya uzanan tüplerdir. Bu tekil tüpler tekil değerlerin yerini alır. İlk k tanesi (camgöbeği) korunur, gri olanlar atılır.
5. V^T (n₂×n₂×n₃), ortogonal bir V tensörünün t-devriğidir: her ön dilimin devriği alınır, ardından 2'den n₃'e kadar olan dilimlerin sırası ters çevrilir. İlk k yatay dilimi (mor), V'nin ilk k yanal diliminin t-devrikleridir. Sütun sütun okunup tekil tüplerle ölçeklendiğinde, her örneğin korunan tabandaki koordinatlarını verirler.
6. k, kesme rankıdır. Yalnızca renkli kısımları tutmak X ≈ U_k ∗ S_k ∗ V_k^T yaklaşımını verir; bu, tüp rankı en fazla k olan tensörler arasında Frobenius normuna göre en iyi yaklaşımdır.
7. F₃, üçüncü mod boyunca uygulanan bir dönüşümdür: t-SVD için FFT, tc-SVD için DCT. Dönüşümden sonra her ön dilim kendi başına sıradan bir SVD ile çarpanlarına ayrılır: X̂_i = Û_i Ŝ_i V̂_i^H, i = 1, …, n₃ için; her dilimde aynı kesme uygulanır. Ters dönüşüm, üst üste dizilmiş çarpanları yeniden U, S ve V'ye çevirir.

Tezin kapsamı

• Tensör temelleri: modlar, lifler ve dilimler, açılım ve mod-n çarpımı
• Mevcut ayrışımlar: CP, Tucker (HOSVD) ve t-SVD
• tc-çarpımı ve tc-SVD ile bunları kullanarak bir tensörü sıkıştırmanın iki yolu
• El yazısı rakamların (MNIST) ve yüzlerin (CBCL) sınıflandırılması
• Dört görüntü koleksiyonunun kümelenmesi: ORL, PIE, Extended Yale B ve COIL-100
• Dinlenme durumu fMRI ile erken evre hafif bilişsel bozukluğun sağlıklı kontrollerden ayırt edilmesi (ADNI verisi)
• Sürekli gelen veriler için artımlı bir tc-SVD

Tensor Notları

Tezi, 1 Ekim 2026'dan itibaren her perşembe bir not olmak üzere, İngilizce ve Farsça beş not halinde yayımlıyorum:

1. Verinizi Düzleştirmeyi Bırakın
2. Tensörler için SVD ve Arkasındaki t-Çarpımı
3. tc-SVD, Ayna Sınırlı Bir Tensör SVD'si
4. tc-SVD ile Görüntü Sınıflandırma ve Kümeleme
5. Beyin Taramalarından Akan Veriye

Yayımlanan her bölüm bu sitenin notlar bölümünde listelenir.

Seri, bu sitenin Farsça notlar bölümünde Farsça olarak da yayımlanıyor.

Kısa yanıtlar

t-SVD nedir?

t-SVD, Kilmer ve Martin'in (2011) önerdiği, üçüncü mertebeden tensörler için bir tekil değer ayrışımıdır. Bir tensörü X = U ∗ S ∗ V^T biçiminde yazar; burada ∗ t-çarpımı, U ve V ortogonal tensörler, S ise f-köşegendir. Pratikte üçüncü mod boyunca FFT alınır, her ön dilimin sıradan SVD'si hesaplanır ve çarpanlar geri dönüştürülür.

tc-SVD nedir?

tc-SVD, aynı yapının t-çarpımı yerine kosinüs dönüşümüne dayanan bir çarpımla kurulmuş halidir. t-çarpımında gizli olan periyodik sınırın yerini yansıtıcı (ayna) sınır alır; böylece FFT'nin yerini DCT alır ve tüm hesaplamalar gerçel sayılarda kalır. Yüksek lisans tezimde geliştirdiğim ayrışım budur; kosinüs dönüşümüne dayanan çok yakın bir çarpım Kernfeld, Kilmer ve Aeron'un (2015) çalışmasında da yer alır.

tc-SVD, t-SVD'den daha mı iyi?

Tez deneylerinde MNIST ve CBCL'de benzer sınıflandırma doğruluğuna ulaştı, iki yüz veri setinde (ORL ve Extended Yale B) daha iyi kümeler verdi ve karşılaştırmaların neredeyse tamamında, çoğu zaman yaklaşık iki kat daha hızlıydı. Erken evre Alzheimer üzerine küçük bir fMRI çalışmasında (erken MCI'ya karşı sağlıklı kontroller) en iyi birini dışarıda bırakma (leave-one-out) doğruluğu, t-SVD'nin %70,7'sine karşı %86,5 oldu; bu değer k'ya duyarlıydı. COIL-100'de ise HOSVD ve NMF ikisinden de daha iyi kümeledi.

Tensör ayrışımı ne zaman matris SVD'sinden daha iyidir?

Veri, görüntü koleksiyonları, video ya da zaman içinde birçok sensörden alınan ölçümler gibi doğal olarak çok boyutlu bir şekle sahipse ve onu vektörlere düzleştirmek birbirine ait değerleri ayıracaksa. Tensör yöntemleri bu yapıyı korur; sıkıştırma, sınıflandırma ve kümeleme için kompakt özellikler üretir.

Kod var mı?

t-çarpımı, t-SVD ve tc-SVD'nin kısa, test edilmiş NumPy sürümleri Tensor Notları yazılarında yer alıyor; sınıflandırma, kümeleme ve artımlı güncellemeler içeren bir MATLAB implementasyonu da github.com/mahdipc/tcSVD adresinde.

Tez bilgileri

Başlık: Tensör Temsiliyle Büyük Veri Öğrenimi (Big Data Learning with Tensor Representation)
Yazar: Mahdi Molavi
Derece: Bilgisayar Bilimleri Yüksek Lisansı (M.Sc.), Tarbiat Modares Üniversitesi, Tahran
Danışman: Dr. Mansoor Rezghi
Yıl: 2019
Anahtar kelimeler: tensör ayrışımı, t-SVD, tc-SVD, ayrık kosinüs dönüşümü, büyük veri, sınıflandırma, kümeleme, akan veri

Bu not İngilizce olarak da yayımlandı: İngilizce.