Ανάλυση συχνότητας γλώσσας

Ν-γραμματική πιθανοτική ανάλυση

Η Τριγραμματική ανάλυση σε ένα Αγγλικό κείμενο 763 λέξεων 
Λέξεις  Εμφάνιση      Συχνότητα
The   91           11.9%
And   27           3.5%
Had   19           2.5%
Was   15           2%
That   13           1.7%

Διακριτή Στατιστική πηγή Μαρκόφ

Μπορούμε να παραστήσουμε το μήνυμα σαν μία ακολουθία γραμμάτων. Αυτές οι ακολουθίες γραμμάτων δεν είναι τυχαίες αλλά έχουν μια στατιστική εξάρτηση δηλαδή η εμφάνιση ενός γράμματος επηρεάζει την εμφάνιση ενός άλλου γράμματος. πχ Η εμφάνιση του του Q συνεπάγει ότι το αμέσως πιθανότερο γράμμα είναι το U. Η πηγή εκπέμπει γράμματα από ένα πεπερασμένο αλφάβητο έστω το Αγγλικό σύμφωνα με κάποιες πιθανότητες που εξαρτώνται από το τρέχων γράμμα και από τα προηγούμενα γράμματα .Η πιθανότητα εμφάνισης ενός γράμματος εξαρτάται από το συγκεκριμένο γράμμα και από το αμέσως προηγούμενο πχ 
P(Xj=b,Xj-1=a) = 0.0228302.
Σχηματίζεται επομένως ένας πίνακας 26x26 με όλους τους συνδυασμούς και τις πιθανότητες για κάθε συνδυασμό. Συμπεραίνουμε ότι το μήνυμα σαν ακολουθία περιέχει μνήμη την οποία μπορούμε να ποσοτικοποιήσουμε

Παράδειγμα

Έστω ο κρυπταναλυτής έχει αποκτήσει πρόσβαση στο κρυπτοκείμενο.
WSADSXDAONVOPDDZQCQSINYAKAOQCZNPUSSAZJOEDYZEDVUJZQDZNZNZJSFSIVPDXDJSUWDNYONMZXSASMYCDAOQCDVYUZAYSMYCDUSUIJZYOSNYCZYVYCDQIAADNYUASFA
DVVSMCIWZNOYKVYZNPHDCONPZJJHJZHJZHJZAOQCFDYAOQCDAUSSAFDYUSSADAZNOQDVSQODYKONPDDPCDZPDPZYMIJJVUDDPZFZONVYZHAOQELZJJOZPXOQDKSIYSMZVYD
NKSIAVDZYHDJYZNPYSVDZYNDBYYSZNDWDAFDNQKDBOYJOEDQAZQEONFLSAELDJJSAQ 
Το πρώτο βήμα που κάνει ο κρυπταναλυτής είναι να μετρήσει την συχνότητα που εμφανίζονται τα γράμματα( πιν 2.3) στο κρυπτοκείμενο και μετά να τα συσχετίσει με το ιστόγραμμα 2.2 Το πιο εμφανιζόμενο γράμμα μέσα στο κρυπτοκείμενο είναι το γράμμα D το οποίο τείνει να είναι το γράμμα Ε αλλά αυτό δεν είναι σίγουρο. Ο κρυπταναλυτής οδηγείται σε διάφορους συσχετισμούς ανάλογα με την συχνότητα γραμμάτων.
Πίνακας 2.3 Μετρήσεις κατανομής γραμμάτων
Νούμερο. χαρακτήραςΣυχνότητες(%)Μέτρηση Συχνότητας
   1          D        12.5000      41
   2          Z         9.7561      32
   3          Y         8.5366      28
   4          S         8.2317      27
   5          A         7.3171      24
   6          N         6.4024      21
   7          O         6.4024      21
   8          J         5.4878      18
   9          Q         4.8780      16
  10          V         4.2683      14
  11          C         3.6585      12
  12          P         3.6585      12
  13          U         3.0488      10
  14          I         2.4390      8
  15          F         2.1341      7
  16          E         1.8293      6
  17          H         1.8293      6
  18          K         1.8293      6
  19          M              1.8293        6
  20          W              1.2195        4
  21          X         1.2195      4
  22          L         0.9146      3
  23          B         0.6098      2
Διγραματική Ανάλυση
   1         ZN         2.4465      8
   2         OQ         2.1407      7
   3         SA         2.1407      7
   4         AO         1.8349      6
   5         CD         1.8349      6
   6         ON         1.8349      6
   7         DA         1.5291      5
   8         DZ         1.5291      5
   9         JZ         1.5291      5
  10         NP         1.5291      5
  11         QC         1.5291      5
  12         VY         1.5291      5
  13         ZY         1.5291      5
  14         AD         1.2232      4
  15         DN         1.2232      4
  16         DV         1.2232      4
  17         DY         1.2232      4
  18         JJ         1.2232      4
  19         NY         1.2232      4
  20         PD         1.2232      4
  21         SI         1.2232      4
  22         SM         1.2232      4
  23         US         1.2232      4
  24         YC         1.2232      4
  25         YS         1.2232      4
  26         YZ         1.2232      4

Αντικαθιστά μέσα στο κρυπτοκείμενο το D με το Ε
wsaEsxEaonvopEEzqcqsinyakaoqcznpussazjoeEyzeEvujzqEznznzjsfsivpExEjsuwEnyonmzxsasmycEaoqcEvyuzaysmycEusuijzyosnyczyvycEqiaaEnyuasfaEvvsmciwznoykvyznphEconpzjjhjzhjzhjzaoqcfEyaoqcEaussafEyussaEaznoqEvsqoEykonpEEpcEzpEpzymijjvuEEpzfzonvyzhaoqelzjjozpxoqEksiysmzvyEnksiavEzyhEjyznpysvEzynEbyysznEwEafEnqkEboyjoeEqazqeonflsaelEjjsaq
Συνεχίζει επιλέγοντας σαν ζευγάρι το Ζ να το αντικαταστήσει με το Τ ή το Α κλπ.. Μελετάει την διγραμματική κατανομή.