Məktubların tezliyin bənzərliyini necə hesablamaq olar?

Bu məlumatları nəzərə alaraq (hər iki dildə də məktubların nisbi tezliyi):

 spanish => 'e' => 13.72, 'a' => 11.72, 'o' => 8.44, 's' => 7.20, 'n' => 6.83, english => 'e' => 12.60, 't' => 9.37, 'a' => 8.34, 'o' => 7.70, 'n' => 6.80, 

Və sonra "bu bir testdir" simli məktubların tezliyini hesablamaq mənə verir:

 "t"=>21.43, "s"=>14.29, "i"=>7.14, "r"=>7.14, "y"=>7.14, "'"=>7.14, "h"=>7.14, "e"=>7.14, "l"=>7.14 

Beləliklə, müəyyən bir tezlik məktubu bir dil ilə uyğunlaşdırmaq üçün yaxşı bir yanaşma olardı (və dili müəyyən etməyə çalışır)? Levenşteyn məsafəsini istifadə edərək bir neçə nümunəni gördüm (və sınaqdan keçirdim) və daha çox dilləri əlavə etməyinizə qədər işləyir.

 "this is a test" gives (shortest distance:) [:english, 13] ... "esto es una prueba" gives (shortest distance:) [:spanish, 13] ... 
8
29 марта '13 в 22:38 2013-03-29 22:38 Matías Insaurralde , 29 Mart '13 'da saat 10:38 ' da soruşdu
@ 3 cavab

İki vektor arasında oxşarlıqların sayını müəyyən etmək üçün kosin oxşarlıqlarına baxdın? 2019

11
29 марта '13 в 23:57 2013-03-29 23:57 Cavab Wesley Baugh tərəfindən 29 Mart 2013 tarixində saat 23:57 'də verilir. 2013-03-29 23:57

N-qrafika, əlbəttə ki, qısa mətnlərlə kömək edəcək və çox kömək edəcək. Hər hansı bir məqbul uzunluğu mətn (paraqraf?), Sadə məktub frekansları yaxşı işləyir. Məsələn, mən bunun bir qısa nümayişi yazdım və mənbə kodunu yükləyə bilərsiniz http://georgeflanagin.com/free.code.php

Bu səhifənin son nümunəsidir.

1
15 мая '13 в 20:54 2013-05-15 20:54 cavab 15 may 2013-cü il saat 20:54 tarixində Corc Flanagin tərəfindən verilmişdir 2013-05-15 20:54

Verdiyiniz nümunələr qısa cümlələrdir. İstatistikler, girişiniz daha uzun olsaydı (məsələn, bir paragraf, benzersiz frekanslar müəyyən olunması daha asan olmalıdır.

Uzun müddətli giriş təmin edən bir istifadəçiyə etibar edə bilmirsinizsə, buna görə də müvafiq məktub frekansları uyğun olduqda bu dildə adi sözlərlə (məsələn, olduğu kimi, və, və ... və ...) baxın?

1
29 марта '13 в 22:49 2013-03-29 22:49 Cavab maditya 29 mart '13 'də saat 10:49' də verilir 2013-03-29 22:49

haqqında digər suallar və ya bir sual