TCVN7563-16:2009

Tiêu chuẩn quốc gia TCVN 7563-16:2009 (ISO/IEC 2382-16:1996) về Công nghệ thông tin - Từ vựng - Phần 16: Lý thuyết thông tin TIÊU CHUẨN QUỐC GIA TCVN 7563-16:2009 ISO/IEC 2382-16:1996 CÔNG NGHỆ THÔNG TIN - TỪ VỰNG - PHẦN 16: LÝ THUYẾT THÔNG TIN In f ormation t echnology - Vocabulary - Part 16: In f ormation t heory Lời nói đầu TCVN 7563-16:2009 hoàn toàn tương đương với ISO/IEC 2382-16:1997. TCVN 7563-16:2009 do Ban Kỹ thuật Tiêu chuẩn quốc gia TCVN/JTC 1 “Công nghệ th ô ng tin” biên soạn, Tổng cục Tiêu chuẩn Đo lường Chất lượng đ ề nghị, Bộ Khoa học và Công nghệ công bố. CÔNG NGHỆ THÔNG TIN - TỪ VỰNG - PHẦN 16: LÝ THUYẾT THÔNG TIN In f ormation t echnology - Vocabulary - Part 16: In f ormation t heory Mục 1: Khái quát 1.1. Phạm vi áp dụng Tiêu chuẩn này nhằm tạo thuận lợi cho việc truyền thông quốc tế trong lý thuyết thông tin. Tiêu chuẩn trình bày bằng hai ngôn ngữ Việt-Anh các thuật ngữ và định nghĩa về những khái niệm được lựa chọn liên quan đến lĩ nh vực công nghệ thông tin và xác định những quan hệ giữa các mục. Để tạo thuận lợi cho việc d ị ch thuật sang các ngôn ngữ khác, các định nghĩa ở đây được biên soạn sao cho trong chừng mực có th ể tránh kh ỏ i mọi dị biệt của một ngôn ngữ. Tiêu chuẩn này định nghĩa các khái niệm liên quan đến lý thuyết thông tin, thông điệp và truyền thông chúng các thuật ngữ đại lượng cơ bản và các thuật ngữ đại lượng dẫn xuất. 1.2. Tài liệu viện dẫn ISO 31-0:1992, Đại lượng và đơn vị - Phần 0: Nguyên tắc chung. ISO 1087:1990, Thuật ngữ - Từ vựng. TCVN 7217-1:2002, Mã thể hiện tên nước và vùng lãnh thổ. ISO 3534-1:1993, Thống kê - Từ vựng và ký hiệu - Phần 1: Xác suất và thuật ngữ thống kê chung. IEC 27-3:1989, K ý hiệu chữ cái được sử dụng trong kỹ thuật điện - Phần 3: Đại lượng và đơn vị lôga. IEC 50 (702):1992, Từ vựng k ỹ thuật điện quốc tế - Chương 702: Dao động, tín hiệu và thiết bị liên quan. 1.3. Nguyên lý và quy tắc 1.3.1. Định nghĩa một mục Mục 2 gồm một số mục. Mỗi mục gồm có một tập các phần tử cơ bản bao hàm một số hiệu chỉ mục, một thuật ngữ hoặc một vài thuật ngữ đồng nghĩa, v à một mệnh đề định nghĩa một khái niệm. Thêm vào đó, một mục có thể bao h à m các ví dụ, chú thích hoặc minh họa nhằm tạo thuận lợi cho việc thông hiểu khái niệm. Đôi khi, cùng một thuật ngữ có thể được định nghĩa trong các mục khác nhau, hoặc hai hoặc nhiều h ơ n hai khái niệm có thể được đ ị nh nghĩa b ở i một mục, như đã mô t ả tương ứng trong 1.3.5 và 1.3.8. Các thuật ngữ khác như từ vựng, khái niệm, thuật ngữ, và định nghĩa được sử dụng trong tiêu chuẩn này đã được định nghĩa trong ISO 1087. 1.3.2. Tổ chức của một mục Mỗi mục bao gồm các phần tử cơ bản được định nghĩa trong 1.3.1 và các phần tử được bổ sung nếu cần thiết. Mục đó có thể bao gồm các phần tử dưới đây theo thứ tự như sau: a) Số hiệu chỉ mục (chung cho mọi ngôn ngữ sử dụng khi công bố phần này của tiêu chuẩn); b) Thuật ngữ hoặc thuật ngữ được ưu tiên chung trong ngôn ngữ. Sự vắng mặt của một thuật ngữ được ưu tiên chung cho khái niệm đó trong ngôn ngữ sử dụng sẽ k ý hiệu bởi 5 chấm ( ….. ); một d ò ng các chấm có thể dùng để chỉ báo một từ cần chọn cho mỗi trường hợp cụ thể trong một thuật ngữ; c) Thuật ngữ được ưu tiên trong một quốc gia cụ thể (được xác định theo các quy tắc của TCVN 7217); d) Viết tắt của thuật ngữ; e) (Các) thuật ngữ đồng nghĩa được phép dùng; f) Văn bản của định nghĩa (xem 1.3.4); g) Một hoặc một số ví dụ với tiêu đề “VÍ DỤ”; h) Một hoặc một số chú thích đặc tả các trường hợp riêng trong l ĩnh vực ứng d ụng các khái niệm với tiêu đề “CHÚ THÍCH”; i) Một hình ảnh, một biểu đồ, hoặc một bảng có thể dùng chung cho vài mục. 1.3.3. Phân loại mục Một chuỗi số gồm hai chữ số được ấn định cho mỗi phần của bộ tiêu chuẩn này, bắt đầu là 01 cho “Các thuật ngữ căn bản”. Các mục được phân loại theo các nhóm, mỗi nhóm được ấn định một chuỗi số gồm 4 chữ số, trong đó hai chữ số đầu tiên dùng để chỉ phần của bộ tiêu chuẩn này. Mỗi mục được ấn định một số ch ỉ mục gồm 6 chữ số, trong đó 4 chữ số đầu tiên dùng để ch ỉ phần của bộ tiêu chuẩn này và chỉ nh ó m của mục. Những số trên được ấn định cho các hợp phần, các nhóm và các mục một cách giống nhau để các phiên bản của tiêu chuẩn này được nhất quán trong mọi ngôn ngữ sử dụng. 1.3.4. Lựa chọn các thuật ngữ và cách diễn đạt các định nghĩa Việc lựa chọn các thuật ngữ và cách diễn đạt các định nghĩa, trong mức độ có thể, đã tuân theo cách sử dụng được thiết lập. Những nơi có mâu thuẫn đã được giải quyết thỏa thuận theo đa số phiếu bầu. 1.3.5. Đa nghĩa Khi một thuật ngữ cho trước có nhiều nghĩa trong một ngôn ngữ làm việc, thì mỗi nghĩa được đư a vào một mục riêng nhằm tạo thuận lợi cho việc dịch thuật sang các ngôn ngữ khác. 1.3.6. Các viết tắt Như đã nêu trong 1.3.2, các viết tắt hiện sử dụng chỉ được đặt ra cho một số thuật ngữ. Các viết tắt như vậy không được sử dụng trong văn bản của các định nghĩa, ví dụ hoặc chú thích. 1.3.7. Sử dụng dấu ngoặc đ ơ n Trong một số thuật ngữ, một hoặc nhiều t ừ in kiểu chữ đậm được đặt giữa các dấu ngoặc đ ơ n. Những từ này là bộ phận của một thuật ngữ đầy đủ, nh ư ng có thể lược b ỏ chúng khi sử dụng thuật ngữ rút gọn trong một ngữ c ả nh k ỹ thuật rõ ràng. Trong văn bản của một định nghĩa, ví dụ hoặc chú thích khác của tiêu chuẩn này, một thuật ngữ như vậy ch ỉ được sử dụng dưới dạng đầy đủ của nó. Trong một số mục, các thuật ngữ được theo sau bởi các từ trong ngoặc đơn in với kiểu chữ thường. Những từ này không phải là bộ phận của một thuật ngữ nhưng nêu ra các hướng dẫn để sử dụng thuật ngữ đó, l ĩnh vực áp dụng cụ thể hoặc dạng ngữ pháp của thuật ngữ đó. 1.3.8. Sử dụng dấu ngoặc vuông Khi nhiều thuật ngữ có quan hệ mật thiết có thể được xác định bởi các văn bản ch ỉ khác nhau một vài từ, những thuật ngữ này và các định nghĩa của chúng sẽ được nhóm thành một mục đơn. Những từ cần thay thế để có các ý nghĩa khác nhau sẽ được đặt trong d ấ u ngoặc vuông, tức [ ] , trong cùng thứ tự như trong thuật ngữ và trong định nghĩa đó. Để xác định rõ ràng các từ cần thay thế, từ cuối cùng mà theo quy tắc nói trên có thể đặt trước dấu ngoặc vuông m ở , sẽ được đặt trong dấu ngoặc này ở chỗ bất kỳ có thể, và lặp lại đối với mỗi từ khác. 1.3.9. Sử dụng các thuật ngữ được in theo kiểu chữ nghiêng trong các định nghĩa và việc sử dụng dấu hoa thị Một thuật ngữ in kiểu chữ nghiêng trong một định nghĩa, ví dụ, hoặc chú thích, sẽ được định nghĩa trong một mục khác thuộc tiêu chuẩn này, mà có thể trong một hợp phần khác. Tuy nhiên, thuật ngữ đó ch ỉ in kiểu chữ nghiêng khi xuất hiện lần đầu trong mỗi mục. Kiểu chữ nghiêng cũng được sử dụng cho các dạng ngữ pháp khác của một thuật ngữ, ví dụ danh từ số nhiều và động tính từ. Các dạng cơ sở của tất c ả các thuật ngữ in kiểu chữ nghiêng tại tiêu chuẩn này được liệt kê trong bảng chỉ mục ở cuối tiêu chuẩn (xem 1.3.11). Dấu hoa thị dùng để tách các thuật ngữ in kiểu chữ nghiêng khi có hai thuật ngữ như thế được tham chiếu trong các mục riêng và đi theo sát nhau (hoặc chỉ được tách bởi dấu ngữ pháp). Các từ hoặc thuật ngữ in kiểu chữ thường sẽ được hiểu như đã xác định trong các từ điển hiện hành hoặc các bộ từ vựng k ỹ thuật chính thức. 1.3.10. Chính tả Trong phiên bản tiếng Anh của tiêu chuẩn này, các thuật ngữ, định nghĩa, ví dụ và chú thích đều đánh vần theo kiểu chính tả được ưu tiên ở Mỹ. Các kiểu chính tả khác cũng có thể được sử dụng mà không trái v ớ i tiêu chu ẩ n này. 1.3.11. Tổ chức ch ỉ mục theo thứ tự ABC Trong mỗi ngôn ngữ sử dụng sẽ có một ch ỉ mục xếp theo thứ tự ABC ở cuối hợp phần. Ch ỉ mục này gồm mọi thuật ngữ được định nghĩa trong hợp phần. Những thuật ngữ đa từ sẽ xuất hiện theo thứ tự ABC dưới mỗi từ khóa của ch ú ng. Mục 2: Thuật ngữ và định nghĩa 16. Lý thuyết thông tin 16.01. Thuật ngữ chung 16.01.01 . L ý thuyết thông tin Ngành học liên quan tới các đơn vị đo định lượng th ô ng tin. 16.01.02 . L ý thuyết truyền thông Nguyên tắc toán học đề cập đến các đặc tính xác suất của việc truyền thông điệp trong môi trường có tạp nhiễu và tạp âm khác. 16.01.03 . T hông tin (trong lý thuyết thông tin) Tri thức dùng để giảm bớt hoặc loại b ỏ tính bất định về việc xuất hiện sự kiện cụ th ể trong một tập các sự kiện có th ể đã cho. CH Ú TH Í CH - Trong lý thuyết thông tin, khái niệm “ sự kiện” được hiểu giống như trong lý thuyết xác suất. Ví dụ, sự kiện có thể là: - Sự c ó mặt của ph ầ n tử cụ th ể trong một tập các phần tử đã cho; - Sự xuất hiện của một ký tự hoặc một từ cụ thể trong một thông điệp đ ã cho hoặc tại một vị trí xác định của thông điệp ; - B ấ t kì một kết quả sai khác nào đó trong số những kết quả có th ể x ả y ra của một thí nghiệm. 16.02. Thông điệp và truyền thông điệp 16.02.01 . T hông điệp (trong lý thuyết thông tin và lý thuyết truyền thông) Trình tự có thứ tự các ký tự để truyền đạt thông tin. 16.02.02 . N guồn thông điệp nguồn thông tin Một phần của hệ thống truyền thông mà từ đó thông điệp được tạo ra. 16.02.03 . Đ ích thông điệp đích thông tin Một phần của hệ thống truyền thông mà tại đó nhận thông điệp. 16.02.04 . K ênh (trong lý thuyết truyền thông) Một phần của hệ thống truyền thông để kết nối nguồn thông điệp và đích thông điệp . CHÚ THÍCH 1 : Có thể chèn thiết bị m ã hóa (encoder) vào giữa nguồn thông điệp và đ ầ u vào kênh, thiết bị giải m ã (decoder) vào giữa đầu ra kênh và đích thông điệp . Thông thường, hai thiết bị này không được xem l à thành phần của kênh. Tuy nhiên, trong những trường hợp cụ thể, chúng có thể được xem l à thành phần của nguồn thông điệp và đích thông điệp . CHÚ THÍCH 2 - Trong lý thuyết thông tin , theo Shannon, kênh có thể được định dạng bởi tập các xác su ấ t c ó điều kiện của việc tất c ả các thông điệp phát ra từ nguồn thông điệp đ ề u được nhận được tại đích thông điệp . 16.02.05 . K ênh nhị ph â n đối xứng Kênh được thiết kế để truyền các thông điệp bao gồm các k ý tự nhị phân và có thuộc tính là các xác suất có điều kiện của việc chuyển đổi bất k ỳ một ký tự này thành một ký tự khác là như nhau. 16.02.06 . N guồn thông điệp ổn định nguồn thông tin ổn định Nguồn thông điệp mà xác suất xảy ra của mỗi thông điệp phát ra từ đó không phụ thuộc vào thời gian xảy ra của sự kiện. 16.03. Thuật ngữ định lượng cơ bản 16.03.01 . L ượng quyết định Loga số lư ợ ng các sự kiện trong một tập hữu hạn các sự kiện loại trừ lẫn nhau có k ý hiệu toán học là: H o = log n trong đó n là s ố lượng các sự kiện. CHÚ THÍCH 1 : CHÚ THÍCH ở điều 16.01.03 phù hợp với định nghĩa này. CHÚ THÍCH 2 : Cơ số của loga quyết định đơn vị được sử dụng. Thông thường đơn v ị được sử dụng là: shannon (ký hiệu: Sh) cho loga cơ số 2, đơn vị tự nhiên (ký hiệu: nat) cho loga cơ số e, hartley (k ý hiệu: Hart) cho loga cơ số 10. Bảng chuy ể n đổi 1 Sh = 0,693 nat = 0,301 Hart 1 nat = 0,434 Hart 1 = 2,303 nat CHÚ THÍCH 3 : Lượng quyết định kh ô ng phụ thuộc vào xác suất xảy ra của các sự kiện. CHÚ THÍCH 4 : Số lượng của quyết định c ấ p b cần lựa ch ọ n một sự kiện cụ thể ra kh ỏ i một tập hữu hạn các sự kiện loại trừ lẫn nhau có giá trị bằng với số nguyên nh ỏ nhất, th ỏa mãn lớn hơn hoặc bằng lượng quyết định được xác định bởi loga cơ số b . Điều này đúng khi b là một số nguyên. VÍ DỤ: Cho { a,b,c } l à một tập gồm 3 sự kiện. Lượng quyết định của nó là: H o = (Ib 3) Sh = 1,580 Sh = (ln 3) nat = 1,098 nat = (Ig 3) Hart = 0,477 Hart 16.03.02 . Lượ ng thông tin Đơn vị đo định lượng thông tin về sự xuất hiện của một sự kiện có xác suất xác định được tính bằng loga giá trị nghịch đ ả o của xác suất này, k ý hiệu toán học là: l(x) = log = - log p(x) ở đây p(x) l à xác suất của sự kiện xảy ra x . CHÚ THÍCH 1 : CHÚ THÍCH thứ 3 ở điều 16.01.03 phù hợp với định nghĩa này. CHÚ THÍCH 2 : Trong một tập các sự kiện c ó xác su ấ t ngang nhau, lượng thông tin của mỗi sự kiện bằng với lượng quyết định của tập. VÍ DỤ: Cho { a,b,c } là một tập gồm 3 sự kiện và cho xác suất xảy ra của các sự kiện là p(a) = 0,5, p(b) = 0,25 và p(c) = 0,25. Lưựng thông tin của 3 sự kiện này là: l(a) = lb Sh = 1 Sh l(b) = lb Sh = 2 Sh l(c) = lb Sh = 2 Sh 16.03.03. Entrôpi lượng thông tin trung b ì nh negentropy (không dùng) Giá trị lượng thông tin trung bình của các sự kiện trong một tập hữu hạn các sự kiện loại trừ lẫn nhau và các sự kiện đầy đủ, ký hiệu trong toán học là: trong đó X = { x 1 .. . x n } là tập các sự kiện x i ( i = 1 ... n ), l ( x i ) là lượng thông tin của các sự kiện x i v à p( x i ) là xác suất xảy ra các sự kiện này, với giả thuyết là VÍ DỤ: Ch o X = { a,b,c } là một tập gồm 3 sự kiện và cho xác su ấ t xảy ra của các sự kiện này là p(a) = 0,5, p(b) = 0,25 và p(c) = 0,25. Entrôpi c ủ a tập này là: H(X) = p(a) l (a) + p(b) l(b) + p(c) l(c)= 1,5 Sh 16.03.04 . E ntrôpi tương đối Tỉ lệ H r của e n trôpi H và lượng quyết định H o được ký hiệu trong toán học là: H r = H / H o VÍ DỤ: Cho { a , b ,c } là một tập gồm 3 sự kiện và cho xác suất xảy ra của các sự kiện này là p(a) = 0,5, p(b) = 0,25 và p(c) = 0,25. Entrôpy tương đối của tập n à y là: H r = (1,5 Sh) / (1,580 Sh) = 0,95 16.03.05 . Đ ộ dôi (trong lý thuyết thông tin) Giá trị thực R bằng lượng quyết định H o trừ đi entrôpi H ; ký hiệu là: R = H o - H CHÚ THÍCH : Thường thường việc sử dụng các mã thích hợp có thể tạo ra thông điệp với số ký tự ít hơn; độ dôi có thể coi là một đơn vị đo mức độ giảm độ dài trung bình của thông điệp khi được thực hiện bằng bộ mã thích hợp. VÍ DỤ: Cho { a,b,c } là một tập gồm 3 sự kiện và cho xác suất xảy ra của các sự kiện này là p(a) = 0,5, p(b) = 0,25 và p(c) = 0,25. Độ dôi của tập này là: R = 1,58 Sh - 1,50 Sh = 0,08 Sh 16.04. Các thuật ngữ định lượng dẫn xuất 16.04.01 . Đ ộ dôi tương đối T ỉ lệ r của độ dôi R với lượng quyết định H o được ký hiệu toán học là: r = R / H o CHÚ THÍCH : Độ dôi tương đối cũng bằng phần bù của entrôpi tương đối H r : r = 1 - H r 16.04.02 . L ượng thông tin có điều kiện Một đơn vị đo định lượng thông tin liên quan tới sự xuất hiện sự kiện x với điều kiện xảy ra của sự kiện y được t í nh bằng loga giá trị nghịch đảo của xác suất có điều kiện p(x/y) của sự kiện x với điều kiện xảy ra của sự kiện y , ký hiệu toán học l à : l(x/y) = log CH Ú THÍCH : Lượng thông tin có đi ề u kiện cũng b ằ ng giá trị thực của lượng thông tin chung của cả hai sự kiện trừ đi lượng thông tin của sự kiện thứ 2: l(x/y) = l(x,y) - l(y) 16.04.03 . L ư ợn g thông t i n chung Đơn vị đo định lượng thông tin liên quan tới sự xuất hiện của hai sự kiện x và y được tính bằng loga giá trị nghịch đảo của xác suất chung p(x,y) khi hai sự kiện xảy ra: l(x/y) = loga 16.04.04 . E ntrôpy có điều kiện lư ợn g thông tin có điều kiện trung bình Giá trị lượng thông tin trung bình có điều kiện của các sự kiện trong một tập hữu hạn các sự kiện loại trừ lẫn nhau và các sự kiện đầy đủ với điều kiện xảy ra của các sự kiện trong trong một tập các sự kiện loại trừ lẫn nhau và các sự kiện đầy đủ khác có k ý hiệu to án học là: trong đó X = { x 1 … x n } là tập các sự kiện x i ( i = 1... n ), Y= { y 1 ... y m } là tập các sự kiện y j (i = 1... m ), l(xi / yi) là lượng thông tin chung của sự kiện x i với điều kiện sự kiện y i đã cho, và p(x i ,y j ) là xác suất chung khi cả hai sự kiện đó xảy ra. 16.04.05. S ự mập m ờ Các entropy có điều kiện của một tập cụ thể của thông điệp tại một nguồn thông điệp cho một tập cụ thể các thông điệp tại thông điệp đ í ch , n ơ i mà nó kết nối với nguồn th ô ng điệp của một kênh cụ thể. CHÚ THÍCH - Sự mập m ờ có nghĩa l à nội dung thông tin bổ sung mà phải được cung cấp cho mỗi thông điệp ở đích thông điệp đ ể sửa các thông điệp đã nhận được tác động bởi một kênh nhiễu. 16.04.06 . T ính không thích hợp trước biến thiên (prevarication) sự phổ biến Entrôpy có điều kiện của một tập các thông điệp cụ thể tại một đ í ch thông điệp với điều kiện một tập các th ô ng điệp cụ thể tại một nguồn thông điệp được liên kết với đích thông điệp thông qua một kênh cụ th ể . 16.04.07 . T hông tin y ; lượng truyền thông tin phát thông tin thông tin tương hỗ Khác biệt giữa lượng thông tin l(x) được truyền bởi sự xuất hiện của sự kiện x , v à lượng thông tin có điều kiện l(x,y) được truyền bởi sự xuất hiện của sự kiện x với điều kiện xảy ra c ủ a sự kiện y có ký hiệu toán học là: T(x,y) = l(x) - I(x,y) CHÚ THÍCH 1 : Ở đây, hai sự kiện x và y là hai th ô ng điệp tại nguồn thông điệp của một k ê nh v à tại đích th ô ng điệp của kênh đó. CHÚ THÍCH 2 : Chuy ể n lượng thông tin cũng có th ể được bi ể u diễn như sau: T(x,y) = l(x) + l(y) - I(x / y) trong đó l(y) l à lượng thông tin c ủ a sự kiện y . Từ điều n à y suy ra, x và y đối xứng với nhau: T(x , y) = T(y , x) 16.04.08 . Lượ ng thông tin trung bình Gi á trị lượng thông tin trung bình của hai sự kiện lấy từ hai tập hữu hạn các sự kiện loại trừ lẫn nhau và sự kiện đầy đủ, được tính bằng công thức: trong đó X = { x 1 … x n } là tập các sự kiện x i ( i = 1... n ), Y = { y 1 ... y m } là tập các sự kiện y j ( j = 1... m ), T(x i ,y i ) là lượng thông tin của hai sự kiện xi v à y i , và p(xi,yj) là xác suất chung khi cả hai sự kiện đ ó xảy ra. CHÚ THÍCH 1 : Lượng thông tin trung b ì nh đối xứng theo X và Y. Nó cũng bằng độ lệch giữa entr ô py của một trong hai tập các sự kiện với entrôpy có điều kiện của tập này với điều kiện có tập kia: T(X,Y) = H(X) - H(X/Y) = H(Y) - H(Y/X) = T(Y,X) CHÚ THÍCH 2 - Lượng thông tin trung bình là một đơn vị đo định lượng của các thông tin được truyền phát thông qua một kênh khi X là một tập các thông điệp cụ th ể tại nguồn thông điệp v à Y là một tập các thông điệp cụ thể đích thông điệp . Nó bằng độ lệch giữa entrôpy tại nguồn thông điệp và mức độ biểu thị đồng thời, hoặc độ lệch giữa entr ô py tại đích th ô ng điệp và tính không thích hợp. 16.04.09 . Lượ ng thông tin trung bình của ký tự t ỉ số thông tin của ký tự Trung bình cho mỗi đặc điểm entropy của tất cả các thông điệp có thể có từ một nguồn thông điệp ổn định , được định nghĩa trong toán học bởi giới hạn: H ’ = lim m-> ¥ Trong đó H m là entrôpy của tập tất cả các dãy gồm m k í tự lấy từ nguồn. CHÚ THÍCH 1 : Đơn vị đặc điểm en t r ô py trung bình có thể được biểu diễn bằng shannon/k í tự. CHÚ THÍCH 2 : Giới hạn có th ể không tồn tại nếu nguồn không ổn định. 16.04.10 . T ốc độ thông tin trung bình Thương số của đặc tr ư ng entropy trung bình H ’ với khoảng thời gian trung bình của một đặc trưng ký hiệu to á n học là: H* = H ’ / I(X) trong đó X = { x 1 ... x n } là một tập các ký tự x i ( i = 1... n ) và là giá trị trung b ì nh của khoảng thời gian t( x i ) của ký tự x i với xác suất xảy ra p(x i ) . CHÚ THÍCH : Đơn vị của tốc độ thông tin trung bình có thể được biểu diễn bằng shannon/giây. 16.04.11 . Lượ ng thông tin trung bình của ký tự Trung b ì nh mỗi ký tự của lượng thông tin trung bình cho tất cả các thông điệp c ó thể có từ một nguồn thông điệp ổ n định được k ý hiệu trong toán học bằng giới hạn: T’ = lim m-> ¥ trong đó T m là lượng thông tin trung b ì nh cho tất cả các cặp là các dãy có m ký tự tương ứng ở đầu vào và đầu ra. CHÚ THÍCH : Đơn vị của lượng thông tin trung b ì nh của ký tự có t hể bi ể u diễn b ằ ng shannon/ký tự. 16.04.12 . T ốc độ thông tin trung bình Thương số của lượng thông tin trung bình của ký tự T ’ được tính bằng khoảng thời gian trung bình một cặp các ký tự đầu vào và đầu ra, thương số này k ý hiệu toán học là: T* = T ’ /t(X, Y) trong đó X = { x 1 ... x n } là tập các ký tự đầu vào xi ( i = 1... n ), Y = { y 1 ... y m } là tập các ký tự đầu ra y j ( j = 1... m ) và là giá trị trung b ình của khoảng thời gian t( x i ,y j ) của cặp ký tự ( x i ,y j ) với xác suất chung p( x i ,y j ) . CHÚ THÍCH : Đơn vị của tốc độ thông tin trung bình có th ể biểu diễn b ằ ng shannon/giây. 16.04.13 . D ung lượng kênh Đo lường khả năng của một kênh tùy thuộc vào các quy định cụ thể khi truyền các thông điệp từ một nguồn thông điệp quy định được th ể hiện bằng cả lượng thông tin trung bình của k ý tự lớn nhất có thể c ó và tốc độ thông tin trung bình lớn nhất có th ể có, có th ể đạt được một xác suất sai số nh ỏ bất kỳ khi việc sử dụng của một mã thích hợp. MỤC LỤC Lời nói đầu Mục 1: Khái quát 1.1 Phạm vi áp dụng 1.2 Tài liệu viện dẫn 1.3 Nguyên lý và quy tắc Mục 2: Thuật ngữ v à định nghĩa 16 Lý thuyết thông tin 16.01 Thuật ngữ chung 16.02 Thông điệp v à truyền thông điệp 16.03 Thuật ngữ định lượng cơ bản 16.04 C ác thuật ngữ định lượng dẫn xuất