TCVN8702:2011

Tiêu chuẩn quốc gia TCVN 8702:2011 về Công nghệ thông tin - Chất lượng sản phẩm phần mềm - Phần 1: Các phép đánh giá ngoài TIÊU CHUẨN QUỐC GIA TCVN 8702:2011 CÔNG NGHỆ THÔNG TIN - CHẤT LƯỢNG SẢN PHẨM PHẦN MỀM - PHẦN 1: CÁC PHÉP ĐÁNH GIÁ NGOÀI In f ormat i on technology - Software product quality- Part 1: External me tr ics Lời nói đầu TCVN 8702:2011 được xây dựng trên cơ sở chấp nhận ISO/IEC 9126-2. TCVN 8702:2011 d o Viện Khoa học Kỹ thuật Bưu điện biên soạn. Bộ Th ô ng tin v à Truyền thông đề nghị, Tổng cục Tiêu chuẩn Đo lường Chất lượng th ẩ m định, Bộ Khoa học và Công nghệ công bố. CÔNG NGHỆ THÔNG TIN - CH Ấ T L ƯỢ NG SẢN PH Ẩ M PHẦN M Ề M - PH Ầ N 1: C Á C PHÉP Đ Á NH GIÁ NGOÀI In f ormat i on technology - Software product quality- Part 1: External me tr ics 1. Phạm vi áp dụng Tiêu chuẩn này xác định các phép đánh giá ngoài cho việc đo định lượng chất lượng ngoài của phần mềm trong phạm vi các đặc tính và các đặc tính nhỏ được định nghĩa trong ISO/IEC 9126-1. Tiêu chuẩn này bao gồm: - Giải thích cách áp dụng các phép đánh giá chất lượng phần mềm; - Một bộ cơ bản các phép đánh giá cho từng đặc tính nhỏ; - Một ví dụ về cách áp dụng các phép đánh giá trong vòng đời sản phẩm phần mềm. Tiêu chuẩn này không ấn định các dải giá trị của các phép đánh giá này để xác định các mức hoặc cấp độ tuân thủ, vì rằng các giá trị này sẽ được xác định cho từng sản phẩm phần mềm hoặc một phần của sản phẩm phần mềm, do bản chất của nó, tùy thuộc vào các yếu tố như loại của phần mềm, mức độ tính toàn vẹn và các nhu cầu của người sử dụng. Một vài thuộc tính có thể có dải giá trị mong muốn mà không phụ thuộc vào các nhu cầu của người sử dụng cụ thể nhưng phụ thuộc vào các yếu tố chung, ví dụ như các yếu tố nhận thức của con người. Tiêu chuẩn này có thể được áp dụng cho bất kỳ loại phần mềm nào và cho bất kỳ ứng dụng nào. Người sử dụng tiêu chuẩn kỹ thuật này có thể chọn hoặc thay đổi và áp dụng các phép đánh giá và phép đo từ tiêu chuẩn này hoặc có thể định nghĩa các phép đánh giá theo ứng dụng cụ thể cho lĩnh vực ứng dụng riêng. Ví dụ, phương pháp đánh giá cụ thể về đặc tính chất lượng như an toàn hay bảo mật có thể tìm trong các tiêu chuẩn quốc tế của IEC 65 hay ISO/IEC JTC 1/SC 27. Người sử dụng Tiêu chuẩn này bao gồm: • Người mua sản phẩm (cá nhân hay tổ chức mua hệ thống, sản phẩm phần mềm hoặc dịch vụ phần mềm từ nhà cung cấp); • Người đánh giá (cá nhân hay tổ chức thực hiện đánh giá. Người đánh giá có thể, ví dụ, l à phòng kiểm đ ị nh, trung tâm chất lượng của tổ chức phát triển phần mềm, tổ chức chính phủ hoặc người sử dụng); • Người phát triển (cá nhân hay tổ chức thực hiện các hoạt động phát triển, bao gồm phân tích yêu cầu, thiết kế, và kiểm tra chấp thuận trong quá trình vòng đời sản phẩm phần mềm); • Người b ả o trì (cá nhân hay tổ chức thực hiện các hoạt động b ả o trì); • Nhà cung cấp (cá nhân hay tổ chức tham gia ký hợp đồng với người mua sản phẩm để cung cấp hệ thống, sản phẩm phần mềm hoặc dịch vụ phần mềm trên các điều khoản của hợp đồng) khi kiểm tra chất lượng phần mềm trong cuộc kiểm tra xác định chất lượng; • Người sử dụng (cá nhân hay tổ chức sử dụng sản phẩm phần mềm để thực hiện chức năng xác định) khi đánh giá chất lượng sản phẩm phần mềm trong cuộc kiểm tra chấp thuận; • Người quản lý chất lượng (cá nhân hay tổ chức thực hiện kiểm tra có hệ thống các sản phẩm phần mềm hoặc dịch vụ phần mềm) khi đánh giá chất lượng sản phẩm phần mềm như một phần của bảo đảm chất lượng và kiểm soát chất lượng. 2. Tài liệu viện dẫn Các tài liệu viện dẫn sau đ â y là cần thiết để áp dụng tiêu chuẩn này. Đối với các tài liệu viện dẫn ghi năm công bố th ì áp dụng bản được nêu. Đối với các tài liệu viện dẫn không ghi năm công bố th ì áp dụng phiên bản mới nhất, bao gồm cả các sửa đổi, bổ sung (nếu có). [1] TCVN 8703:2011 - Công nghệ thông tin - Chất lượng sản phẩm phần mềm - Phần 2: Các phép đánh giá trong. [2] TCVN 8704:2011 - Công nghệ thông tin - Chất lượng sản phẩm phần mềm - Phần 3: Các phép đánh giá chất lượng sử dụng. [3] TCVN 8705:2011 - Công nghệ thông tin - Đánh giá sản phẩm phần mềm - Phần 1: Tổng quan. [4] TCVN 8706.2011 - Công nghệ thông tin - Đánh giá sản phẩm phần mềm - Phần 2: Quy tr ì nh cho người đánh giá. [5] TCVN 8707:2011 - Công nghệ thông tin - Đánh giá sản phẩm phần mềm - Phần 3: Quy trình cho người phát triển [6] TCVN 8708:2011 - Công nghệ thông tin - Đánh giá sản phẩm phần mềm - Phần 4: Quy trình cho người mua sản phẩm. [7] ISO/ I EC 9126-1 - Software engineering - Product quality - Part 1: Quality model. (ISO/IEC 9126-1- Kỹ thuật phần mềm - Chất lượng sản phẩm - Phần 1: Mô hình chất lượng ). [8] ISO/IEC 12207 - Systems and software engineering - Software life cycle processes (ISO/IEC 12207 - Kỹ thuật hệ thống và phần mềm - Các quá trình vòng đời phần mềm). [9] ISO/IEC 14143-1 - Functional size measurement - Part 1 (ISO/IEC 14143-1 - Phép đo quy mô chức năng - Phần 1). [10] ISO/IEC 14756 - In f ormation technology - Measurement and rating of per f ormance of computer- based software systems (ISO/IEC 14756 - Công nghệ thông tin - Phép đo và phân hạng hiệu n ă ng c á c hệ thống phần mềm trên máy t í nh). [11] ISO/IEC 14598-6 - lnformation techno l ogy - Software product evaluation - Part 6: Documentation of evaluation modules. (ISO/IEC 14598-6 - Công nghệ thông t in - Đ á nh giá sản phẩm phần mềm - Phần 6: Tài liệu các mô đun đánh giá). [12] ISO 9241-10:1996 - Ergonomic requirements for office w ork with visual displa y terminals (VDTs) - Part 10: Dialogue principles. (ISO 9241-10:1996 - Phần 10 - Các yêu cầu lao động cho công việc văn phòng với đầu cuối hi ể n thị VDT). [13] ISO/IEC 2382-20:1990 - In f ormation technology - Vocabu l ary - Part 20: System deve l opment (ISO/IEC 2382-20:1990 - Công nghệ thông tin - Từ vựng - Phần 20: Phát triển hệ thống). [14] ISO 8402:1994 - Quality management and quality assurance - Quality vocabulary (ISO 8402:1994 - Quản lý chất lượng và đảm bảo chất lượng - Từ vựng chất lượng). 3. Thuật ngữ và định nghĩa 3.1 . Ch ấ t lượng 3.1.1 . Chất lượng (quality) Là tổng hợp các đặc tính của thực thể liên quan tới khả năng của nó thỏa mãn các yêu cầu đã đ ượ c c ô ng bố và ám chỉ. CHÚ THÍCH: Trong môi trường hợp đồng, hoặc trong môi trường quy định, như lĩ nh vực an toàn nguyên t ử, các yêu c ầu được xác định, trong khi đó trong các môi trường khác, các y ê u c ầ u ám ch ỉ phải được nhận biết và định nghĩa. 3.1.2 . Chất lượng ngoài (exte rn al quality) Là khả năng của sản phẩm thỏa mãn các yêu cầu đã được công bố và ám chỉ khi sử dụng dưới các điều kiện xác định. 3.1.3 . Chất lượng sử dụng (quality in use) Là khả năng của sản phẩm phần mềm cho phép người sử dụng xác định đạt tới các mục tiêu xác định với tính hiệu quả, năng suất, tính an toàn và sự thỏa mãn trong ngữ cảnh cụ thể khi sử dụng. CHÚ THÍCH: Chất lượng sử dụng là cách nhìn của người sử dụng của chất lượng trong m ô i trường chứa phần mềm , và được đo từ các kết quả của v iệ c sử dụng phần mềm trong môi trường, hơn là các đặc tính của chính bản thân phần mềm. 3.1.4 . Chất lượng trong ( internal quality) Là tổng hợp các thuộc tính của sản phẩm xác định khả năng của nó để thỏa mãn các yêu cầu đã được công bố và ám chỉ khi sử dụng dưới các điều kiện xác định. CHÚ TH Í CH 1: Thuật ngữ " ch ấ t lượng trong", được sử dụng trong Tiêu chuẩn này ngược nghĩa với " chất lượng ngoài " , về cơ bản có cùng ý nghĩa với như "chất lượng " trong ISO 8402. CHÚ THÍCH 2: Thuật ngữ “thuộc t í nh" được sử dụng (thường xuyên hơn thuật ngữ “đặc t í nh " ) như thuật ngữ “đặc t í nh" sử dụng trong các ý nghĩa đặc trưng hơn trong ISO/IEC 9126. 3.1.5 . Mô hình chất l ượng (quality mo d el) Một bộ các đặc tính và quan hệ giữa chúng, cung cấp cơ sở cho các yêu cầu chất lượng xác định và đánh giá chất lượng. 3.2 . Phần mềm và người sử dụng 3.2.1 . Người sử dụng (user) Cá nhân sử dụng sản phẩm phần mềm để thực hiện chức năng xác định. CHÚ THÍCH: Người sử dụng có thể bao gồm người vận h à nh , người nhận kết quả của phần mềm, hoặc người phát triển, hoặc người bảo trì phần mềm. 3.2.2 . Phần mềm (software) Tất cả hoặc một phần của các chương trình, thủ tục, quy tắc, và tài liệu đi kèm của một hệ thống xử lý thông tin CHÚ THÍCH: Phần mềm là sáng tạo trí tuệ không phụ thuộc vào phương tiện nó được l ư u trữ. 3.2.3 . Sản phẩm phần mềm (software product) Một bộ các chương trình máy tính, thủ tục, và có thể các tài liệu đi kèm và dữ liệu thiết kế để phân phối cho người sử dụng. CHÚ THÍCH: sản phẩm bao gồm các sản phẩm trung gian, và các sản phẩm dự định cho người sử dụng như người phát triển và người bảo trì. 3.3 . Phép đo 3.3.1 . Ch ỉ báo (indicator) Hệ đo có thể được sử dụng để ước lượng hoặc dự báo hệ đo khác. CHÚ THÍCH 1: Hệ đo có thể nh ư nhau hoặc t í nh chất khác nhau. CHÚ THÍCH 2: Các chỉ báo có thể được sử dụng cho cả ước lượng các thuộc tính chất lượng phần mềm và ước lượng các thuộc tính của quá trình sản xuất. Ch ú ng l à các hệ đo gián tiếp của các thuộc tính. 3.3.2 . Đo (measure - verb.) Thiết lập phép đo. 3.3.3 . Hệ đo (measure - noun.) Số lượng hoặc phạm trù gắn với các thuộc tính của thực thể bằng cách thiết lập phép đo. 3.3.4 . Hệ đo gián tiếp (indirect measure) Hệ đo thuộc tính nhận được t ừ các hệ đo một hoặc nhiều các thuộc tính khác. CHÚ THÍCH : Hệ đo ngoài của thuộc tính của hệ t hống máy tính (như thời gian đáp ứng đầu vào người sử dụng) là hệ đo gián tiếp các thuộc tính của phần mềm v ì rằng hệ đo s ẽ bị ả nh hư ở ng bởi các thuộc tính của m ô i trường tính toán cũng như các thuộc tính của phần mềm. 3.3.5 . Hệ đo ngoài (external measure) Hệ đo gián tiếp của sản phẩm nhận được từ các hệ đo các hoạt động của hệ thống mà sản phẩm là một phần của nó. CHÚ THÍCH 1: H ệ thống bao gồm bất kỳ phần cứng, phần mềm liên kết nào (k ể cả phần mềm của khách hàng hoặc phần mềm đóng gói) và ng ười sử dụng. CHÚ THÍCH 2: Số sự cố phát hiện được trong quá trình kiểm tra là các hệ đo ngoài của số sự cố trong chương trình vì s ố s ự cố đư ợc đếm trong quá tr ì nh v ậ n hành của hệ thống máy tính đang thực hiện chương trình để nhận biết lỗi trong m ã . CHÚ THÍCH 3: Các hệ đo ngo à i có thể được sử dụng để đánh giá các thuộc tính ch ấ t lượng gần với các mục tiêu cơ bản của thi ế t kế. 3.3.6 . Hệ đo trong (internal measure) Hệ đo nhận được từ ch í nh b ả n thân phần mềm, bất kể là trực tiếp hay gián tiếp, nó không xuất phát từ các hệ đo các hoạt động của hệ thống mà nó l à một phần. CHÚ THÍCH: Các dòng mã, độ phức tạp, số sự cố phát hiện được trong các bước và Chỉ số mờ tất cả đều là đo lường trong được tạo trong b ả n thân phần mềm. 3.3.7 . Hệ đo trực tiếp (direct measure) Hệ đo thuộc tính không phụ thuộc vào hệ đo các thuộc t í nh khác. 3.3.8 . Phép đánh giá (metric) Thang đo và phương pháp sử dụng đo. CHÚ THÍCH 1: Phép đánh giá có thể l à trong hoặc ngoài. CHÚ THÍCH 2 : Các phép đánh giá bao gồm các phương pháp cho phân loại dữ liệu định tính. 3.3.9 . Phép đo (measurement) Quá trình gắn số lượng hoặc phạm trù với thực thể mô tả thuộc tính của thực thể. CHÚ THÍCH: Phạm trù được sử dụng để biểu thị các phép đo định tính của các thuộc tính. V í dụ, một số các thuộc tính quan trọng của sản phẩm phần mềm, như ng ô n ngữ của chương trình ngu ồ n (ADA , C , COBOL, ...) lá đ ị nh tính. 3.3.10 . Thuộc tính (attribute) Đặc tính vật lý đ o được hay đặc tính lý thuyết của thực thể. 4. Ký hiệu và thuật ngữ SQA - Đảm bảo chất lượng phần mềm. SLCP - Các quá trình vòng đời phần mềm. 5. Sử dụng các phép đánh giá phần mềm Các ti ê u chuẩn TCVN 8702:2011, TCVN 8703:2011, TCVN 8704:2011 cung cấp bộ khuyến nghị các phép đánh giá sản phẩm phần mềm (các phép đánh giá ngoài, trong và chất lượng sử dụng) được sử dụng cùng với ISO/IEC 9126-1 (M ô hình chất lượng). Người sử dụng các Tiêu chuẩn này có thể thay đổi các phép đánh giá được xác định, và/hoặc có thể sử dụng các phép đánh giá không được đưa ra. Khi sử dụng phép đánh giá đã được thay đổi hoặc phép đánh giá mới không được nhận biết trong các Tiêu chuẩn này người sử dụng phải chỉ rõ các phép đánh giá đó liên hệ với mô hình chất lượng trong ISO/IEC 9126-1 hoặc bất cứ mô hình chất lượng thay thế nào khác được sử dụng như thế nào. Người sử dụng các Tiêu chuẩn này phải lựa chọn các đặc tính và các đặc tính nh ỏ sẽ được đánh giá từ ISO/IEC 9126-1; xác định các hệ đo trực tiếp và gián tiếp thích hợp, xác định các phép đánh giá tương thích và từ đó l à m sáng t ỏ kết quả đo theo mục tiêu. Người sử dụng các Tiêu chuẩn này cũng có thể lựa chọn các quy trình đánh giá sản phẩm trong vòng đời phần mềm từ bộ Tiêu chuẩn ISO/IEC 14598 (ISO/IEC 14598). Các Tiêu chuẩn này đưa ra các phương pháp đo ước định và đánh giá chất lượng sản phẩm phần mềm. Chúng được dự định sử dụng cho người phát triển, người mua sản phẩm và các nhà đánh giá độc lập, đặc biệt cho những người chịu trách nhiệm trong việc đánh giá sản phẩm phần mềm (xem Hình 1). Sản phẩm phần mềm Hiệu quả của sản phẩm phần mềm Hình 1 - Quan hệ giữa các loại ph é p đánh giá Các phép đánh giá trong có thể được áp dụng cho sản phẩm phần mềm không chạy được trong các giai đoạn phát triển của nó (như yêu cầu cho đề xuất, định nghĩa các yêu cầu, đặc điểm kỹ thuật thiết kế hay mã nguồn). Các phép đánh giá trong cung cấp cho người sử dụng khả n ă ng đo chất lượng các thực hiện trung gian và do đó dự báo chất lượng của sản phẩm cuối cùng. Điều này cho phép người sử dụng nhận biết các vấn đề chất lượng và bắt đầu hoạt động hiệu chỉnh càng sớm càng tốt trong vòng đờ i phát tri ể n. Các phép đánh giá ngoài có thể được sử dụng để đo chất lượng sản phẩm phần m ề m bằng cách đo hoạt động của hệ thống mà phần mềm là một phần của nó. Các phép đánh giá ngoài chỉ có thể được sử dụng trong các giai đoạn kiểm tra của quá trình vòng đời và trong bất cứ giai đoạn vận hành nào. Quá tr ì nh đo được tạo lập khi thực hiện sản phẩm phần mềm trong môi trường hệ thống mà nó được dự kiến vận hành. Các phép đánh giá sử dụng đo sản phẩm có đáp ứng các yêu cầu của người sử dụng xác định đạt được các mục đích xác định với tính hiệu quả, năng suất, độ an toàn và sự thỏa mãn trong các ngữ cảnh sử dụng xác định hay không. Điều này chỉ có thể đạt được trong môi trường hệ thống thực tiễn. Các nhu cầu chất lượng người sử dụng có thể được xác định như các yêu cầu chất lượng bởi các phép đánh giá k hi sử dụng, bởi các phép đánh giá ngoài, và thỉnh thoảng bằng các phép đánh giá trong. Các yêu cầu này được xác định bởi các phép đo phải được sử dụng như tiêu chuẩn khi sản phẩm được đánh giá. Khuyến nghị sử dụng các phép đánh giá trong có mối quan hệ càng mạnh c à ng tốt với các phép đánh giá ngoài mục tiêu sao cho chúng có thể được sử dụng dự báo các giá trị của các phép đánh giá ngoài. Tuy nhiên, thường khó thiết kế mô hình lý thuyết chặt chẽ cung cấp mối quan hệ mạnh giữa các phép đánh giá trong và các phép đánh giá ngo à i. Do đó, mô hình giả thuyết có thể chứa các yếu tố mập mờ có thể được thiết kế và phát triển của quan hệ có thể được mô hình hóa thống kê trong quá trình sử dụng các phép đánh giá. Các khuyến nghị và yêu cầu liên quan đến tính xác nhận và tin cậy được đưa ra trong ISO/IEC 9126-1, Phụ lục A.4. Các xem xét chi tiết bổ sung khi sử dụng các phép đánh giá được đưa ra trong Phụ lục A của Tiêu chuẩn. 6. Đọc và sử dụng các bảng phép đánh giá Các phép đánh giá trong điều 7 được phân loại theo các đặc tính và các đặc tính nhỏ trong ISO/IEC 9126-1. Các thông tin sau được đưa ra cho từng phép đánh giá trong bảng: a) Tên phép đánh giá: Các phép đánh giá tương ứng trong bảng các phép đánh giá trong và các phép đánh giá ngoài có tên giống nhau. b) Mục đích của phép đánh giá: Được biểu diễn như câu h ỏ i cần tr ả lời bởi ứng dụng của phép đánh giá c) Phương pháp áp dụng: Cung cấp các nét chính của áp dụng. d) Phép đo, công thức và tính toán các thành phần dữ liệu: Cung cấp công thức đo và giải thích ý nghĩa các thành phần dữ liệu sử dụng. CHÚ THÍCH: Trong mội số trường hợp nhiều hơn một công thức được đ ề xuất cho phép đánh giá. e) Chuyển đ ổ i giá trị đo: Cung cấp dải và các giá trị được ưu tiên f) Loại thang đánh giá: Loại thang được sử dụng bởi phép đánh giá. Các loại thang sử dụng là Thang danh nghĩa, Thang thứ tự , Thang khoảng cách, Thang t ỷ lệ và Thang tuyệt đối. CHÚ THÍCH: Giải th í ch chi tiết trong Phụ lục C . g) Loại hệ đo: Các loại được sử dụng l à Loại kích thước (như kích c ỡ chức năng, kích cỡ nguồn), Loại thời gian (như thời gian trôi qua, thời gian người sử dụng), Loại đếm (như s ố l ượng các thay đổi, số lượng các sự cố). CHÚ THÍCH: Giải th í ch chi tiết trong Phụ lục C . h) Đ ầ u vào cho ph é p đo: Nguồn của dữ liệu sử dụng trong phép đo. i) Tham chi ế u ISO/IEC 12207 SLCP: Xác định quá trình vòng đời sản phẩm các phép đánh giá được áp dụng. j) Đối tượng sử dụng: Xác định người sử dụng các kết qu ả đo. 7. Bảng các phép đánh giá Các phép đánh giá đưa ra trong mục này không tham vọng là bộ đầy đủ m ọ i khía cạnh và c ó thể chưa được xác nhận. Chúng được đưa ra theo các đặc tính và các đặc tính nhỏ của chất lượng phần mềm , theo thứ tự được tr ì nh bày trong ISO/IEC 9126-1. Các phép đánh giá, có thể có khả năng áp dụng, không giới hạn trong danh sách liệt kê này. Các phép đánh giá cụ thể bổ sung cho các mục đích riêng được cung cấp trong các tài liệu liên quan khác, như đo kích cỡ chức năng hoặc đo tính hiệu quả thời gian chính xác. CHÚ THÍCH: Khuyến nghị xem xé t phép đánh giá hoặc phép đo cụ thể t ừ các tiêu chuẩn c ụ th ể , các báo cáo kỹ thuật hoặc hướng dẫn. Đo kích cỡ chức n ă ng được định nghĩa t rong ISO/IEC 14143. V í dụ đo tính hiệu quả thời gian chính xác c ó th ể xem trong I SO/IEC 14756. Các phép đánh giá ph ả i được xác nhận trước khi áp dụng trong môi trường cụ thể (xem Ph ụ lục A). CHÚ THÍCH: Danh sách các phép đánh giá này chưa ph ả i đã kết thúc, và có thể s ẽ được ch ỉ nh s ử a trong các phi ê n b ả n tương lai của Tiêu chuẩn này . 7.1. Các phép đánh giá chức năng Phép đánh giá chức năng ngoài phải có khả năng đo thuộc tính như hoạt động chức năng của hệ thống chứa phần mềm. Hoạt động của hệ thống có thể được giám sát từ các ngữ cảnh sau: a) Sự khác nhau giữa các kết quả đã được thực hiện thực tế và đặc tả yêu cầu chất lượng; CHÚ THÍCH : Đặc tả yêu cầu chất lượng cho t í nh chức năng thông thường được m ô tả n hư yêu cầu trong đặc tả. b) Sự không thỏa đáng phát hiện trong vận hành thực tế của người sử dụng không được công bố nhưng được hàm ý như một yêu cầu trong đặc t ả . CHÚ THÍCH: Khi các vận hành hoặc các chức năng hàm ý được phát hiện, chúng phải được c â n nh ắ c, ch ấ p thuận và công bố trong đặc tả. M ở rộng được thực hiện của chúng phải được đ ồ ng thuận. 7.1.1 . Các phép đánh giá tính phù hợp Phép đánh giá tính phù hợp ngoài phải có khả năng đo thuộc tính như sự xuất hiện của chức năng không thỏa mãn hoặc sự xuất hiện của vận hành không thỏa mãn trong quá trình kiểm tra và vận hành của người sử dụng của hệ thống . Chức năng hoặc vận hành không th ỏ a m ã n có thể là : a) Các chức năng và vận hành không hoạt động như trong hướng dẫn sử dụng hoặc đặc tả y ê u cầu. b) Các chức n ă ng và vận h à nh không đưa ra kết qu ả hợp l ý và ch ấ p nhận được để đạt được mục tiêu cụ thể đã định của nhiệm vụ người sử dụng. Bảng 1- Các phép đánh giá tính phù hợp Các phép đánh giá t í nh phù hợp ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tính đầy đủ chức năng Các chức năng được đánh giá được đáp ứng đầy đủ như thế nào? So s á nh s ố lượng các chức năng thực hiện các nhiệm vụ xác định và số lượng các chức năng được đánh giá X = 1 - A/B A= Số lượng các chức năng có lỗi phát hiện khi đánh giá B= Số lượng các chức năng được đánh giá 0<><> Càng gần 1.0 thì càng được thỏa mãn Tuyệt đối X = Số đếm/Số đếm A = Số đếm B= Số đếm Đặc tả yêu cầu Báo cáo đánh giá 6.5 Xác nhận 6.3 Đảm bảo chất lượng 5.3 Kiểm tra chất lượng Người phát triển SQA Tính hoàn thiện của triển khai chức năng Việc triển khai chức năng đối với các đặc tả yêu cầu được hoàn thiện như thế nào? Thực hiện các kiểm tra chức năng (Kiểm tra kiểu hộp đen) của hệ thống theo các đặc tả yêu cầu. Đếm số lượng các chức năng bị thiếu được phát hiện trong quá trình đánh giá và so sánh với số lượng các chức năng được mô tả trong đặc tả yêu cầu. X = 1 - A/B A = Số lượng các chức năng bị thiếu được phát hiện trong quá trình đánh giá B = Số lượng các chức năng được mô tả trong đặc tả yêu cầu 0<><> Càng gần 1 càng tốt. Tuyệt đối A = Số đếm B= Số đếm X = Số đếm/Số đếm Đặc tả yêu cầu Báo cáo đánh giá 6.5 Xác nhận 6.3 Đảm bảo chất lượng 5.3 Kiểm tra chất lượng Người phát triển SQA CHÚ THÍCH: 1. Đầu vào quá trình đánh giá là đặc tả yêu cầu cập nhật. Bất kỳ thay đổi nào được xác định trong vòng đời phải được áp dụng cho các đặc tả yêu cầu trước khi sử dụng trong quá trình đo. 2. Phép đánh giá này được đề xuất như một sử dụng thực nghiệm. CHÚ THÍCH: B ấ t c ứ chức n ă ng b ị thiếu nào cũng không th ể kiểm tra bằng các phép đánh g i á b ở i vì nó không được thực hiện . Để phát hiện chức năng bị thiếu, chúng ta đề xuất r ằ ng mỗi chức năng được ghi trong chức năng yêu cầu được kiểm tra lần lượt trong quá trình đánh giá chức năng. Các kết quả như vậy tr ở th à nh đầu vào cho phép đánh giá " T ính hoàn thi ệ n triển khai chức năng". Đối với các chức năng được thực hiện nhưng không đầy đủ phát hiện được, th ì đề xuất r ằ ng m ỗ i chức n ă ng được k iểm t ra cho nhiều nhiệm vụ đặc tả . C ác k ế t qu ả này tr ở t hành đầu vào cho phép đánh giá "T í nh đầy đủ chức năng'. Do đ ó, các người s ử dụng các phép đánh giá được đ ề nghị sẽ sử dụng cả hai phép đánh giá trong quá trình đánh giá ch ứ c năng. M ức độ bao phủ của triển khai chức năng Việc triển khai chức năng chính xác đ ến mức nào? Thực hiện các bài kiểm tra chức năng (kiểm tra kiểu hộp đen) của hệ thống theo các đặc tả yêu cầu. Tính toán số lượng các chức năng thực hiện không đúng hoặc bị thiếu được phát hiện trong quá trình đánh giá và so sánh với số lượng các chức năng được mô tả trong đặc tả yêu cầu. Đếm số các chức năng hoàn thành và các chức năng không hoàn thành X =1- A/B A= Số lượng các chức năng triển khai không đúng hoặc chức năng bị thiếu được phát hiện trong quá trình đánh giá. B= Số lượng các chức năng được mô tả trong đặc tả yêu cầu 0<> X <> 1 Càng gần 1 .0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Đặc tả yêu cầu Báo cáo đánh giá 6.5 Xác nhận 6.3 Đảm bảo chất lượng 5.3 Kiểm tra chất lượng Người phát triển SQA CHÚ THÍCH: 1. Đầu vào quá trình đánh giá là đặc tả yêu cầu cập nhật. Bất kỳ thay đổi nào được xác định trong vòng đ ờ i phải được áp dụng cho các đặc tả yêu cầu trước khi sử dụng trong quá trình đo. 2. Phép đo này bi ể u d iễ n kiểm tra c ổ ng nhị phân của việc xác định sự hiện diện của đặc trưng Tính ổn định đặc tính chức năng (tính không ổn định) Các đặc tính chức năng ổn định như thế nào sau khi đi vào hoạt động Đếm s ố lượng các chức năng được mô tả trong đặc tính chức năng bị thay đổi sau khi hệ thống đi vào hoạt động và so sánh với tổng số lượng các chức năng được mô tả trong đặc tả yêu cầu X =1- A/B A= Số lượng các chức năng bị thay đổi khi đi vào hoạt động bắt đầu từ khi hoạt động B = Số lượng chức năng được mô tả trong đặc tả yêu cầu 0<> X <> 1 X Càng gần 1 .0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Kích cỡ Đặc tả yêu cầu Báo cáo đánh giá 6.8 Giải quyết vấn đề 5.4 Vận hành Người phát triển SQA CHÚ THÍCH: Phép đánh giá này được đề xuất như một sử dụng thực nghiệm 7.1.2 Các phép đánh giá tính chính xác Phép đánh giá tính chính xác ngoài phải có khả năng đo thuộc tính như tần suất của người sử dụng gặp phải sự xuất hiện của các sự kiện không chính xác bao gồm: a) Kết quả không đ ú ng hoặc không ch í nh xác gây ra bởi dữ liệu không thỏa đáng; ví dụ, dữ liệu với quá ít chữ số có nghĩa cho t í nh toán đúng. b) Tr á i ngược giữa các th ủ tục vận hành thực tế và các mô tả trong hướng dẫn v ậ n hành. c) Khác nhau giữa các kết qu ả thực tế và kết quả mong đợi hợp lý của các nhiệm vụ thực hiện trong quá trình vận hành. Bảng 2 - Bảng các ph é p đánh giá tính chính xác Các phép đánh giá tính chính xác ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Độ chính xác mong đợi Sự khác nhau giữa các kết quả thực và các kết quả mong đợi hợp lý có chấp nhận được không? Thực hiện các trường hợp kiểm tra chuẩn đầu vào và đầu ra với các kết quả mong đợi hợp lý. Đếm số trường hợp bắt gặp bởi người sử dụng với sự khác biệt không thể chấp nhận được với các kết quả mong đợi hợp lý X = A/T A = Số trường hợp bắt gặp bởi người sử dụng mà khác biệt với kết quả mong đợi lớn hơn giới hạn cho phép T = Thời gian thực hiện 0<> Càng gần bằng 0 càng tốt Tỷ lệ A = Số đếm T = Thời gian X = Số đếm/Thời gian Đặc tả yêu cầu Hướng dẫn sử dụng Ý kiến sử dụng Báo cáo kiểm tra 6.5 Xác nhận 6.3 Đảm bảo chất lượng Người phát triển Người sử dụng CHÚ THÍCH: Các kết quả mong đợi hợp lý có thể được xác định trong đặc tả y ê u cầu, hướng dẫn sử dụng, hoặc là giá trị mong muốn của người sử dụng. Độ chính xác tính toán Người sử dụng cuối thường gặp phải các kết quả không chính xác như thế nào? Ghi nhận số lượng các tính toán không chính xác dựa trên các đặc tính X = A/T A = Số các tính toán không chính xác người sử dụng gặp phải T = Thời gian thực hiện 0<> X càng gần 0 càng tốt Tỷ lệ A = Số đếm T = Thời gian X = Số đếm/Thời gian Đặc tả yêu cầu Báo cáo kiểm tra 6.5 Xác nhận 6.3 Đảm bảo chất lượng Người phát triển Người sử dụng Độ chính xác Người sử dụng cuối thường gặp phải các kết quả với độ chính xác không thỏa mãn như thế nào? Ghi nhận số lượng các kết quả với độ chính xác không thỏa mãn X = A/T A = Số các kết quả người sử dụng gặp phải với độ chính xác khác với yêu cầu T = Thời gian thực hiện 0<> X càng gần 0 càng tốt Tỷ lệ A = Số đếm T = Thời gian X = Số đếm/Thời gian Đặc tả yêu cầu Báo cáo kiểm tra 6.5 Xác nhận 6.3 Đảm bảo chất lượng Người phát triển Người sử dụng CHÚ THÍCH: Các thành phần dữ liệu cho tính toán của các phép đánh giá ngo à i được thiết kế sử dụng thông tin có thể truy cập t ừ ngoài, v ì rằng như vậy sẽ thuận tiện cho người sử dụng cuối, các nhà khai thác, người bảo trì hoặc người mua h à ng sử d ụng các phép đo ngoài. Do đó , phép đo trên cơ sở thời gian s ẽ thư ờ ng xuất hiện trong các phép đánh giá ngoài và nó sẽ khác với các phép đánh giá trong. 7.1.3 . Các phép đánh giá khả năng tương tác Phép đánh giá khả năng tương tác ngoài phải c ó khả năng đo thuộc tính như số lượng các chức năng hoặc sự xuất hiện tính kém liên hệ bao gồm dữ liệu và lệnh, mà chúng được truyền t ả i trước đó giữa sản phẩm phần mềm và các hệ thống khác, các sản phẩm phần mềm khác, hoặc thiết bị được kết nối. Bảng 3 - Bảng các ph é p đánh giá khả năng tương tác Các phép đánh giá khả năng tương tác ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Khả năng trao đổi dữ liệu (Dựa trên định dạng dữ liệu) Các chức năng giao diện trao đổi cho dữ liệu xác định chuyển giữa các hoạt động được thực hiện chính xác như thế nào? Kiểm tra mỗi định dạng bản ghi đầu ra của chức năng giao diện đường xuống của hệ thống theo các đặc tính trường dữ liệu. Đếm số định dạng dữ liệu được chấp thuận để trao đổi với phần mềm hoặc hệ thống khác trong quá trình kiểm tra trao đổi dữ liệu so với tổng số. X = A/B A = Số lượng định dạng dữ liệu được chấp thuận trao đổi thành công với phần mềm hệ thống khác trong quá trình kiểm tra trao đổi dữ liệu. B = Tổng số định dạng dữ liệu được trao đổi 0<><> X càng gần bằng 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Đặc tả yêu cầu (Hướng dẫn sử dụng) Báo cáo kiểm tra 6.5 Xác nhận Người phát triển CHÚ THÍCH: Khuyến nghị kiểm tra thực hiện dữ liệu xác định. Khả năng trao đổi dữ liệu (Dựa vào cố gắng thực hiện thành công của người sử dụng) Người sử dụng thường trao đổi dữ liệu thất bại giữa phần mềm đích và phần mềm khác như thế nào? Truyền dữ liệu giữa phần mềm đích và phần mềm khác thường thành công như thế nào? Liệu người sử dụng có thường thành công trong trao đổi dữ liệu không Đếm số trường hợp chức năng giao diện được sử dụng và bị lỗi. a) X = 1 - A/B A = Số trường hợp người sử dụng thất bại khi truyền dữ liệu với phần mềm hoặc hệ thống khác B = Số trường hợp người sử dụng cố gắng trao đổi dữ liệu b) Y = A/T T = Khoảng thời gian thực hiện 0<><> Càng gần bằng 1.0 càng tốt 0<> Càng gần bằng 0 càng tốt a) Tuyệt đối b) Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Y = Số đếm/Thời gian T = Thời gian Đặc tả yêu cầu (Hướng dẫn sử dụng) Báo cáo kiểm tra 5.4 Vận hành Người bảo trì 7.1.4. Các phép đánh giá tính an toàn Phép đánh giá t í nh an toàn ngoài phải có khả năng đo thuộc tính như số chức năng cùng với, hoặc sự xuất hiện các vấn đề an toàn, chúng là: a) Th ấ t bại ngăn chặn lỗ hổng của thông tin hay dữ liệu cần bảo vệ; b) Thất bại ngăn chặn mất dữ liệu quan trọng; c) Thất bại bảo vệ chống lại truy cập bất hợp pháp hay vận hành bất hợp pháp. CHÚ THÍCH: 1. Khuy ế n nghị các kiểm tra t hâm nhập được thực hiện để mô phỏng tấn c ô ng, v ì r ằ ng tấn công an toàn như vậy không thường xuyên xảy ra t rong các quá trình ki ể m tra thông thường. Các phép đánh giá an t oàn thực tế có thể ch ỉ được tạo ra trong "m ô i trường hệ thống thực t ế" , là " chất lượng sử dụng”. 2. Các yêu cầu bảo vệ an toàn thay đổi rộng t ừ trường hợp hệ thống độc lập đến trường hợp h ệ thống kết nối với Inte rnet . Việc xác đ ị nh tính chức năng yêu cầu và b ả o đ ả m t í nh hiệu quả của chúng đ ã được tr ì nh bày kỹ trong các tiêu chu ẩ n liên quan. Người sử dụng t iêu chu ẩ n này phải xác định các chức n ă ng an toàn sử dụng các phương pháp và tiêu chuẩn thích đáng trong các trường hợp mà ảnh hưởng của của bất kỳ h ỏ ng h ó c nào gây ra đều quan trọng hoặc có t í nh quyết định. Trong các trường hợp kh á c người sử dụng có th ể giới hạn phạm vi của m ì nh để chấp nhận các phép đo bảo vệ " Công nghệ thông t i n" nói chung như các ph ư ơng pháp dự phòng bảo vệ v irus và qu ả n l ý truy cập. Bảng 4 - Bảng các phép đánh giá tính an toàn Các phép đánh giá tính an toàn ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Khả năng kiểm toán truy cập Theo dõi kiểm toán truy cập liên quan đến truy cập của người sử dụng vào hệ thống và dữ liệu được hoàn thành như thế nào? Đánh giá lượng truy cập được hệ thống ghi lại trong cơ sở dữ liệu lược sử truy cập. X = A/B A = Số lượng "người sử dụng truy cập vào hệ thống và dữ liệu" được ghi trong cơ sở dữ liệu lược sử truy cập B = Số lượng "người sử dụng truy cập vào hệ thống và dữ liệu" được thực hiện trong quá trình đánh giá 0<><> Càng gần 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Đặc tả yêu cầu Báo cáo kiểm tra 6.5 Xác nhận Người phát triển CHÚ THÍCH: 1 Các truy nhập vào dữ liệu có thể được đo ch ỉ với các hoạt động kiểm tra. 2. Đánh giá n à y được đề xuất như một sử dụng t hực nghiệm. 3. Khuyến nghị việc kiểm tra xâm nhập n ê n được thực hiện để m ô phỏng các tấn công, v ì các t ấ n công an toàn như vậy có t hể k hông x ả y ra trong quá trì nh k iểm tra th ô ng thư ờ ng. Các đánh giá an toàn thực tế có thể ch ỉ được t hực hiện trong “môi trường hệ thống thực tế", nó ch í nh là “chất lượng sử dụng ". 4. B ả n ghi "truy cập của người sử dụng vào hệ thống và dữ liệu” có thể bao gồm “bản ghi phát hiện virus’ cho việc bảo vệ virus. Mục đích của khái niệm b ả o vệ virus l à tạo ra các bảo vệ hợp l ý mà với chúng sự xu ấ t hiện của các virus máy tính có thể được ngăn chặ n hoặc phát hiện c à ng sớm càng tốt. Ngăn chặn sai lạc dữ liệu Tuần sát của các sự kiện sai lạc dữ liệu là bao nhiêu? Đếm sự xuất hiện của các sự kiện sai lạc dữ liệu lớn và nhỏ a) X = 1 -A/N A = Số lần sự kiện sai lạc dữ liệu lớn xảy ra N = Số trường hợp kiểm tra chuẩn cố gắng gây ra sai lạc dữ liệu b) Y = 1 - B/N B = Số lần sự kiện sai lạc dữ liệu nhỏ xảy ra c) Z = A/T hoặc B/T T = Khoảng thời gian thực hiện (trong quá trình kiểm tra) 0<><> Càng gần bằng 1.0 càng tốt 0<><> Càng gần bằng 1.0 càng tốt 0<> Càng gần bằng 0 càng tốt a) Tuyệt đối b) Tuyệt đối c) Tỷ lệ T = Thời gian Z = Số đếm/Thời gian Đặc tả kiểm tra Báo cáo kiểm tra Báo cáo thực hiện 6.5 Xác nhận 5.3 Kiểm tra chất lượng 5.4 Vận hành Người bảo trì Người phát triển CHÚ THÍCH: 1 . Cần quá trình kiểm tra thực hiện khác thường chuyên sâu để đạt được các sự kiện sai lạc dữ liệu lớn và nhỏ. 2. Khuy ế n nghị phân c ấ p tác động của các sự kiện sai lạc dữ liệu như các ví dụ sau: S ự kiện sai lạc dữ li ệ u lớn (tai họa): • Không th ể sao chép l ạ i và h ồ i phục lại; • Phân loại sai lệch t hứ hai quá rộng; • Tính quan trọng của b ả n thân dữ liệu. Sự kiện sai lạc dữ liệu nhỏ: • Kh ô ng t h ể sao chép l ạ i và hồi phục lại và; • Không có phân loại sai lệch t hứ hai; • Tính quan trọng của bản thân d ữ liệu. 3 . Các thành phần dữ liệu cho t í nh toán đánh giá ngoài đ ược thiết kế sử dụng th ô ng tin truy c ậ p t ừ ngoài, v ì r ằ ng nó sẽ thu ậ n tiện cho người sử dụng cu ố i, các nhà khai thác, b ả o tr ì hay người mua sản phẩm sử dụng các đánh giá ngoài. D o đó , các sự kiện đ ế m v à số lần sử d ụ ng ở đây khác so với đánh giá trong tương ứ ng. 4. Khuyến nghị r ằ ng các bài k iểm tra thâm nhập đ ược thực hiện đ ể mô ph ỏ ng các tấn công, vì rằng các t ấ n công an toàn như v ậ y không t hư ờ ng xuất hiện trong các quá trình kiểm t ra thông thường. Các phép đánh giá an toàn thực tế ch ỉ đượ c thực hiện trong " môi trường hệ th ố ng thực", chính l à " chất lượng sử dụng”. 5. Phép đánh giá n à y được đề xuất như một sử dụng t hực nghiệm. 6. Dự phòng dữ liệu là một trong những phương pháp ng ă n chặn sai l ạ c dữ liệu. Việc tạo ra dự phòng đảm bảo dữ liệu c ần thiết có thể được lưu trữ nhanh chóng trong khi một phần của dữ liệu đang s ử dụng bị m ấ t. Tuy nhiên, dự ph ò ng dữ liệu ch ỉ liên quan như một phần của toàn bộ các phép đánh giá t í nh tin c ậ y trong tài liệu này. 7. Đề xuất phép đánh giá này được s ử dụng thực nghiệm. 7.1.5. Các phép đánh giá tuân th ủ của tính năng Phép đánh giá tuân thủ tính năng ngoài phải có khả năng đo thuộc tính như số lượng chức năng cùng với, hoặc sự xuất hiện của các vấn đề tuân thủ, mà sản phẩm phần mềm không tôn trọng triệt để với các tiêu chuẩn, quy ước, hợp đồng hoặc các yêu cầu quy định khác. Bảng 5 - Bảng các phép đánh giá tuân thủ của tính năng Các phép đánh giá tuân thủ của tính năng ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tuân thủ của tính năng Tính năng của sản phẩm tuân thủ quy định, tiêu chuẩn, quy ước áp dụng như thế nào? Đếm số điều khoản yêu cầu tuân thủ đã được đáp ứng và so sánh với điều khoản yêu cầu tuân thủ trong đặc tả. Thiết kế các bài kiểm tra tương ứng với các điều khoản tuân thủ. Thực hiện quá trình kiểm tra chức năng cho các bài kiểm tra này. Đếm số điều khoản tuân thủ đã được thỏa mãn. X = 1 - A/B A = Số các điều khoản chức năng chưa được thực hiện trong quá trình kiểm tra B = Tổng số điều khoản tuân thủ tính năng được xác định 0<><> Càng gần bằng 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, quy ước, hoặc quy định liên quan Đặc tả và báo cáo kiểm tra 5.3 Kiểm tra chất lượng 6.5 Xác nhận Người cung cấp Người sử dụng CHÚ THÍCH: 1. Có t hể l à có ích n ế u như thu thập các giá trị đo được t heo thời gian, để phân tích xu hướng gia tăng các điề u kho ả n tuân thủ thỏa mãn hay kh ô ng. 2. Đề xuất nên đếm s ố các lỗi, v ì rằng việc phát hiện v ấ n đề là mục ti ê u của quá trình kiểm tra có hiệu quả và nó cũng thí ch hợp cho qu á tr ì nh đ ế m và ghi nh ậ n. Tuân thủ tiêu chuẩn giao nhận Các giao diện tuân thủ các quy định, tiêu chuẩn và quy ước áp dụng như thế nào? Đếm số giao diện đáp ứng điều kiện tuân thủ yêu cầu và so sánh với số với số giao diện yêu cầu tuân thủ như trong đặc tả. CHÚ THÍCH: Tất cả các thuộc tính xác định của tiêu chuẩn phải được kiểm tra. X = A/B A = Số lượng giao diện được triển khai chính xác như đã xác định B = Tổng số giao diện yêu cầu tuân thủ 0<><> Càng gần bằng 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Mô tả sản phẩm theo tính tuân thủ và các tiêu chuẩn, quy ước, hoặc quy định Đặc tả và báo cáo kiểm tra 6.5 Xác nhận Người phát triển 7.2. Các phép đánh giá tính tin cậy Phép đánh giá t í nh tin cậy ngoài phải có khả năng đo các thuộc tính liên quan tới hoạt động của hệ thống mà phần mềm là một phần của nó trong quá trình thực hiện kiểm tra để ch ỉ ra khả năng của tính tin cậy của phần mềm trong hệ thống trong su ố t quá trình vận hành. Các hệ thống và phần mềm không phân biệt với nhau trong phần lớn trường hợp. 7.2.1. Các phép đánh giá tính kỹ lưỡng Phép đánh giá t í nh kỹ lưỡng ngoài phải c ó khả năng đo các thuộc tính như phần mềm không gặp sự cố gây ra bởi lỗi tồn tại trong ch í nh b ả n thân phần mềm. Bảng 6 - Bảng các phép đánh giá tính kỹ lưỡng Các phép đánh giá tính kỹ lưỡng ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Ước lượng mật độ lỗi tiềm tàng Có bao nhiêu vấn đề vẫn tồn tại có thể xảy ra như các lỗi tương lai? Đếm số lượng các lỗi được phát hiện trong giai đoạn thử nghiệm xác định và dự báo số lượng tiềm tàng các lỗi tương lai sử dụng mô hình ước lượng tăng tính tin cậy X = {ABS(A1-A2)}/B (X = Mật độ lỗi tiềm tàng còn lại được ước lượng) ABS()= Giá trị tuyệt đối A1= Số lượng tổng các lỗi tiềm tàng được dự báo trong sản phẩm phần mềm A2= Tổng số lỗi phát hiện được trong thực tế B= Kích cỡ sản phẩm 0<> Phụ thuộc vào giai đoạn kiểm tra. Càng về giai đoạn cuối, các giá trị càng nhỏ càng tốt Tuyệt đối A1 = Số đếm A2 = Số đếm B = Kích thước X = Số đếm/Kích thước Báo cáo kiểm tra Báo cáo khai thác Báo cáo các vấn đề 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành 6.5 Xác nhận 6.3 Đảm bảo chất lượng Người phát triển Người kiểm tra SQA Người sử dụng CHÚ THÍCH: 1. Khi t ổ ng số các lỗi phát hiện được thực tế lớn hơn t ổ ng số lỗi tiềm t à ng dự b á o, thì khuyến ngh ị dự b á o lại và ước lư ợ ng s ố lớn hơn. C á c số được ước lượng lớn hơn được dự định đ ể dự báo các lỗi tiềm tàng hợp lý, nhưng không làm cho sản phẩm tốt hơn . 2. Khuyến nghị sử dụng một số các mô h ì nh ước lượng tăng tính tin cậy và chọn mô h ì nh thích hợp nhất và lặp lại d ự báo với các lỗi phát hiện được giám sát. 3. Sẽ có í ch nếu dự báo giới hạn tr ê n và dưới của các l ỗ i tiềm tàng. 4. C ầ n phải chuyển đổi giá t rị (X) vào đoạn <0,1> n ế u thực hiện tổng kết các đặc trưng. Mật độ lỗi đối chiếu với các trường hợp kiểm tra chuẩn Có bao nhiêu lỗi được phát hiện trong giai đoạn thử nghiệm xác định? Đếm số lượng các lỗi được phát hiện và số các trường hợp kiểm tra chuẩn được thực hiện X = A1/A2 A1 = Số lượng các lỗi được phát hiện A2 = Số lượng các trường hợp kiểm tra chuẩn được thực hiện 0<> Phụ thuộc vào giai đoạn kiểm tra. Càng về giai đoạn cuối, các giá trị càng nhỏ càng tốt. Tuyệt đối A1 = Số đếm A2 = Số đếm B = Kích thước X = Số đếm/Kích thước Báo cáo kiểm tra Báo cáo khai thác Báo cáo các vấn đề 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Khai thác 6.5 Xác nhận 6.3 Đảm bảo chất lượng Người phát triển Người kiểm tra SQA CHÚ THÍCH: 1 . Càng l ớ n c à ng tốt trong các giai đoạn đầu của quá trình ki ể m t ra. Ngược lại, c à ng bé c à ng t ố t t rong các gia i đoạn sau của qu á tr ì nh kiểm tra hoặc v ậ n hành. Khuyến nghị giám sát xu hướng của phép đo này theo thời gian. 2 . Phép đánh gi á này phụ thuộc vào sự đ ầ y đủ của các trường hợp ki ể m t ra chuẩn sao cho chúng phải được thiết kế bao hàm các trường hợp thích hợp, tức l à các trường hợp b ì nh t hường, ngoại lệ v à không b ì nh thường . 3. Cần phải chuyển đổi giá trị (X) v à o đo ạ n <0,1> nếu thực hiện t ổ ng kết các đặc trưng . Giải quyết lỗi Có bao nhiêu trường hợp lỗi được giải quyết? Đếm số lượng các lỗi không xuất hiện lại trong giai đoạn thử nghiệm xác định dưới các điều kiện tương tự nhau. Duy trì báo cáo giải quyết các vấn đề mô tả tình trạng của tất cả các lỗi. X = A1/A2 A1 = Số lượng các lỗi được giải quyết A2 = Tổng số các lỗi được phát hiện trong thực tế 0<><> Càng tiến tới 1.0 càng tốt, vì càng có nhiều lỗi được giải quyết. Tuyệt đối A1 = Số đếm A2 = Số đếm A3 = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành (kiểm tra) 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng SQA Người bảo trì CHÚ THÍCH: 1. Khuyến nghị giám sát xu hướng khi sử dụng ph é p đo này. 2. Tổng s ố l ỗ i ti ề m t àng dự báo có thể được ước lượng sử dụng các mô h ì nh t ă ng t í nh tin cậy được điều chỉ nh với dữ liệu quá khứ thực tế li ê n quan với sản phẩm phần mềm tương tự. Trong trường hợp như vậy, số lượng của các lỗi thực t ế và dự báo có thể so sánh được và số lượng lỗi chưa được giải quyết c ò n l ạ i có thể đo được. Mật độ lỗi Có bao nhiêu lỗi được phát hiện trong giai đoạn thử nghiệm xác định? Đếm số lượng các lỗi được phát hiện và tính toán mật độ. X = A/B A1 = Số lượng các lỗi được phát hiện B = Kích thước sản phẩm 0<> Phụ thuộc vào giai đoạn kiểm thử. Càng về giai đoạn cuối, các giá trị càng nhỏ càng tốt. Tuyệt đối A = Số đếm B = Kích thước X = Số đếm/Kích thước Báo cáo kiểm tra Báo cáo vận hành Báo cáo các vấn đề 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành 6.3 Đảm bảo chất lượng Người phát triển Người kiểm tra SQA CHÚ THÍCH 1. C à ng lớn càng t ố t, trong giai đoạn đầu của quá trình ki ể m tra . Ngược lại, c à ng nhỏ càng tốt trong giai đoạn sau của quá trì nh kiểm tra hoặc vận hành . Khuy ế n nghị giám sát xu hướng của phép đo theo thời gian. 2. S ố lượng các lỗi được phát hiện chia cho số lượng các tr ườ ng hợp kiểm t ra chuẩn ch ỉ thị tí nh hiệu quả của các tr ườ ng h ợ p ki ể m tra chuẩn. 3. C ầ n phải chuy ể n đ ổi giá trị (X) vào đoạn <> , 1> nếu thực hiện t ổ ng kết các đặc trưng. 4 . Khi đếm s ố lỗi, chú ý các điểm sau: - C ó khả năng bị lặp, vì r ằ ng nhiều báo cáo có thể c ù ng một lỗi như các báo cáo khác ; - C ó kh ả năng có các trường h ợ p không phải lỗi, v ì rằng người sử dụng hoặc người kiểm tra có thể kh ô ng xác định được các vấn đề của h ọ là lỗi vận hành, lỗi môi trường hay l ỗ i phần mềm Loại bỏ lỗi Có bao nhiêu lỗi đã được chỉnh sửa? Đếm số lượng các lỗi được loại bỏ trong quá trình kiểm thử và so sánh với tổng số lỗi được phát hiện và tổng số lỗi được dự báo a) X = A1/A2 A1 = Số lượng các lỗi được chỉnh sửa A2 = Tổng số lỗi được phát hiện thực tế b) Y = A1/A3 A3 = Tổng số lỗi tiềm tàng được dự báo trong sản phẩm phần mềm 0<><> Càng tiến tới 1.0 càng tốt vì càng có ít lỗi còn tồn tại. 0<> Càng tiến tới 1.0 càng tốt vì càng có ít lỗi còn tồn tại. a) Tuyệt đối b) Tuyệt đối A1 = Số đếm A2 = Số đếm A3 = Số đếm X = Số đếm/Số đếm Y = Số đếm/Số đếm Báo cáo kiểm tra Cơ sở dữ liệu của tổ chức 5.3 Tích hợp 5.3 Kiểm tra chất lượng 6.5 Xác nhận 6.3 Đảm bảo chất lượng Người phát triển SQA Người bảo trì CHÚ THÍCH: 1. Khuyến nghị giám sát xu hướng t rong khoảng thời gian xác định.. 2. Tổng số lỗi tiềm tàng dự báo có thể được ước lượng sử dụng c á c mô hình t ă ng tính tin cậy được điều chỉ nh với dữ liệu quá kh ứ thực tế liên quan v ới s ả n phẩm phần mềm tương tự. 3. Khuyến nghị giám sát tỷ tệ giải quyết lỗi ước lượng Y, sao cho nếu Y>1, điều tra l ý do của nó do nguy ê n nhân có nhiều lỗi được phát hiện hơn so với trước ho ặ c do nguyên nhân sản phẩm phần mềm có chứa số lư ợ ng lỗi không b ì nh thư ờ ng. T rong trường hợp ngược lại, khi Y<1, điều="" tra="" nguyên="" nhân="" có=""> í t lỗi hơn số lượng thông thường được phát hiện t rong s ản phẩm phần mềm hoặc d o nguyên nhân quá trình kiểm tra không đủ để phá t hiện t ấ t cả các lỗi c ó khả năng. 4. C ầ n chuyển đổi giá trị (Y) v à o đoạn <0,1> nếu thực hiện t ổ ng kết các đ ặc tính. 5. Khi đếm số lỗi, chú ý khả năng l ặ p lại , v ì rằng một số báo cáo có thể chứa cùng một lỗi như các báo cáo khác. Thời gian trung bình giữa các lỗi (MTBF) Phần mềm thường hay gặp lỗi trong quá trình hoạt động như thế nào? Đếm số lượng các lỗi xuất hiện trong một giai đoạn nhất định của quá trình hoạt động và tính toán khoảng thời gian trung bình giữa các lỗi. a) X = T1/A b) Y = T2/A T1 = Thời gian hoạt động T2 = Tổng thời gian giữa các lần xuất hiện lỗi liên tiếp A = Tổng số lượng lỗi được phát hiện thực tế (Các lỗi xuất hiện trong thời gian hoạt động được quan sát) 0 Càng lớn càng tốt. Vì rằng thời gian mong đợi giữa các lỗi càng dài. a) Tỷ lệ b) Tỷ lệ A = Số đếm T1 = Thời gian T2 = Thời gian X = Thời gian/Số đếm Y = Thời gian/Số đếm Báo cáo kiểm tra Báo cáo vận hành (kiểm tra) 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Kiểm tra vận hành 5.4 Vận hành Người bảo trì Người sử dụng C H Ú THÍCH: 1. Các đ iều tra sau có thể có í ch - phân bố khoảng thời gian giữa các xuất hiện lỗi. - thay đổi thời gian trung bình theo khoảng thời gian hoạt động; - phân bố ch ỉ thị chức năng nào xảy ra l ỗ i thường xuyên và c ó thường xuyên hoạt động v ì sự phụ thuộc của chức năng và sử dụng. 2. Tính toán tỷ lệ lỗi hay tỷ lệ rủi ro c ó th ể đ ược sử d ụ ng như một lựa chọn. 3. Cần chuyển đổi giá trị (Y) vào đoạn <0,1> nếu thực hiện tổng k ế t các đặc t í nh. Tính bao phủ kiểm tra (Tính bao phủ của quá trình kiểm tra trong kịch bản hoạt động xác định) Bao nhiêu trường hợp kiểm tra chuẩn yêu cầu đã được thực hiện trong quá trình kiểm tra? Đếm số lượng các trường hợp kiểm tra chuẩn được thực hiện trong quá trình kiểm tra và so sánh với số trường hợp kiểm tra chuẩn yêu cầu để đạt được mức bao phủ kiểm tra thích hợp. X = A/B A = Số lượng các trường hợp kiểm tra chuẩn được thực hiện thực tế tiêu biểu cho kịch bản hoạt động trong quá trình kiểm tra B = Số lượng các trường hợp kiểm tra chuẩn cần thực hiện để bao phủ các yêu cầu 0<><> Càng gần 1.0 tính bao phủ của kiểm tra càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Đặc tả yêu cầu Đặc tả kiểm tra hoặc Hướng dẫn sử dụng Báo cáo kiểm tra Báo cáo vận hành 5.3 Kiểm tra chất lượng 6.5 Xác nhận 6.3 Đảm bảo chất lượng Người phát triển Người kiểm tra SQA CHÚ THÍCH: Các trường hợp kiểm tra chuẩn có thể được chuẩn h ó a bằng kích thước phần mềm, tức là, m ứ c bao ph ủ của mậ t độ ki ể m tra Y=A/C , trong đó C= kích thước của sản phẩm được kiểm tra. Y c à ng lớn c à ng tốt. Kich thước có thể l à kích thước chức năng mà người sử dụng có thể đo được Tính kỹ lưỡng của kiểm tra Liệu sản phẩm đã được kiểm tra cẩn thận? Đếm số lượng các trường hợp kiểm tra chuẩn thành công đã được thực hiện thực tế và so sánh nó với tổng số lượng các trường hợp kiểm tra chuẩn được hoàn tất cho từng loại yêu cầu. X = A/B A = Số lượng các trường hợp kiểm tra chuẩn thành công trong quá trình kiểm tra hay hoạt động. B = Số lượng các trường hợp kiểm tra chuẩn được hoàn tất để bao phủ các yêu cầu. 0<><> Càng tiến tới 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Đặc tả yêu cầu Đặc tả kiểm tra hoặc Hướng dẫn sử dụng Báo cáo kiểm tra Báo cáo vận hành 5.3 Kiểm tra chất lượng 6.5 Xác nhận 6.3 Đảm bảo chất lượng Người phát triển Người kiểm tra SQA CHÚ THÍCH : 1. Khuy ế n nghị thực hiện quá trình kiểm tra ứng suất sử dụng dữ liệu quá khứ đặc biệ t t rong các giai đoạn cao đi ể m. Cũng khuyến nghị chắc chắn rằng các lo ạ i kiểm tra sau được thực hiện và t hành c ô ng: • Kịch bản vận hành của người sử dụng; • Ứ ng suất cao điểm; • Đầu vào dữ liệu quá tải. 2. Các t rường hợp kiểm tra chuẩn thành công được chuẩn hóa bằng k í ch thước phần mềm, tức là: mật độ các trường hợp kiểm tra chuẩn thành công Y=A/C. Trong đ ó C= Kích thước sản phẩm được kiểm tra. Y càng lớn càng tố t . Kích thước có thể là kích thước chức năng người sử dụng có thể đo. 7.2.2. Các phép đánh giá khả năng chịu lỗi Phép đánh giá khả năng chịu lỗi ngo à i phải li ê n quan đ ến khả năng phần mềm b ả o trì mức hiệu năng nhất định trong các trường hợp lỗi vận hành hoặc vi phạm giao diện xác định của n ó . Bảng 7 - Bảng các phép đánh giá khả năng chịu lỗi Các phép đánh giá khả năng chịu lỗi ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tránh hỏng hóc Sản phẩm phần mềm thường xuyên gây ra hỏng hóc cho toàn bộ môi trường sản xuất như thế nào? Đếm số hỏng hóc xảy ra đối với số lượng lỗi. Nếu lỗi xảy ra trong quá trình vận hành thì phân tích bản ghi lược sử hoạt động của người sử dụng X = 1-A/B A = Số hỏng hóc B = Số lỗi 0<><> Càng gần bằng 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CH Ú THÍCH: 1 . Hỏng hóc có nghĩa là việc thực hiện b ấ t k ỳ nhiệm vụ n à o của người sử dụng b ị d ừ ng lại cho đến khi hệ thống được khởi động l ạ i, ho ặ c đi ề u khiển của n ó bị mất cho đến khi hệ thống được tắt cư ỡ ng bức. 2. Khi không có hoặc có một v à i lỗi được quan sát th ấ y, th ờ i gian giữa các hỏng hóc có thể phù hợp hơn. Tránh lỗi Có bao nhiêu mẫu lỗi được đặt dưới sự kiểm soát để tránh các lỗi then chốt và nghiêm trọng? Đếm số lượng mẫu lỗi đã được tránh và so sánh nó với số mẫu lỗi được xem xét. X = A/B A = Số lần xuất hiện lỗi then chốt và nghiêm trọng tránh được trong các trường hợp kiểm tra chuẩn của các mẫu lỗi B = Số trường hợp kiểm tra chuẩn mẫu lỗi được tiến hành (hầu như gây ra lỗi) trong quá trình kiểm tra. 0<><> Càng gần bằng 1.0 càng tốt, vì người sử dụng có thể tránh được các lỗi then chốt và nghiêm trọng nhiều hơn Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành 6.5 Xác nhận Người sử dụng Người bảo trì CHÚ THÍCH: 1. Khuyến nghị phân loại các mức tránh lỗi là phần mở rộng của việc giảm nhẹ ảnh hưởng của lỗi, ví dụ như: - Kh ủ ng hoảng: to à n bộ h ệ thống d ừ ng/ hoặc cơ sở dữ liệu bị phá hủy nghiêm trọng; - Nghiêm tr ọ ng: các chức năng quan trọng không có khả năng hoạt động và không có cách nào khác để hoạt động (cách giải quyết khác); - Trung bình: phần lớn các chức năng hãy còn hoạt động, nhưng hiệu năng b ị giới hạn xảy ra với hoạt động bị gi ớ i h ạ n hoặc c ó lựa chọn khác (cách gi ả i quyết khác); - Nhỏ: có một vài chức năng trải qua hiệu n ă ng giới hạn v ới hoạt động bị giới hạn; - Không có: không ả nh hư ở ng tới người sử dụng cuối . 2. Các mức tránh lỗi có t hể dựa tr ê n ma trận r ủ i ro được tạo thành từ t í nh nghiêm ngặt của kết qu ả và tần suất xuất hiện được đưa ra trong ISO/IEC 15026 T í ch hợp hệ th ố ng và phần mềm. 3. Các v í dụ mẫu lỗi: - dữ liệu ngoài dải; - sự bế tắc. Kỹ thuật phân tích cây lỗi có t hể được sử dụng để phát hiện mẫu l ỗ i. 4. Các trường hợp kiểm tra chuẩn có thể bao gồm vận hành không đúng của con người. Tránh vận hành sai Có bao nhiêu chức năng được thực thi với khả năng tránh vận hành không đúng? Đếm số các trường hợp kiểm tra chuẩn của vận hành sai đã được tránh gây ra những lỗi then chốt và nghiêm trọng và so sánh nó với số các trường hợp kiểm tra chuẩn đã được thực hiện của các mẫu vận hành sai được xem xét. X = A/B A = Số lỗi then chốt và và nghiêm trọng đã được tránh B = Số trường hợp kiểm tra chuẩn được thực hiện của các mẫu vận hành sai (gần như chắc chắn sẽ tạo lỗi) trong quá trình kiểm tra 0<><> Càng gần bằng 1.0 càng tốt, vì càng nhiều vận hành sai của người sử dụng được tránh Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH: 1. Hỏng dữ liệu cũng được đưa thêm vào lỗi hệ thống. 2. Các mẫu v ậ n hành sai • Các loại dữ liệu sai như các tham số; • Thứ tự dữ liệu đầ u vào sai; • Th ứ tự vận hành sai. 3. Kỹ thuật phân t í ch c ây lỗi có thể được sử dụng đ ể phát hiện các mẫu vận hành sai. 4. Phép đánh giá n à y có thể được sử dụng thực nghiệm. 7.2.3. Bảng các phép đánh giá khả năng phục hồi Phép đánh giá khả năng phục hồi ngoài phải có khả năng đo các thuộc tính như phần mềm cùng hệ thống có khả năng thiết lập lại mức hiệu năng th ỏ a đáng và phục hồi dữ liệu trực tiếp ảnh hưởng trong trường hợp sự cố. Bảng 8 - Bảng các phép đánh giá khả năng phục hồi Các phép đánh giá khả năng phục hồi ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Khả năng sẵn sàng Mức độ sẵn sàng sử dụng của hệ thống trong khoảng thời gian xác định như thế nào? Hệ thống kiểm tra trong môi trường giống như quá trình sản xuất trong khoảng thời gian xác định thực hiện tất cả các thao tác của người sử dụng. Đo khoảng thời gian sửa chữa mỗi khi hệ thống không sẵn sàng trong quá trình thử nghiệm. Tính toán thời gian trung bình để sửa chữa a) X = {(To/(To+Tr)} b) Y = A1/A2 To = Thời gian vận hành Tr = Thời gian sửa chữa A1 = Tổng số trường hợp sẵn sàng sử dụng của phần mềm khi sử dụng A2 = Tổng số trường hợp người sử dụng thử sử dụng phần mềm trong thời gian quan sát. Xuất phát từ quan điểm vận hành chức năng người sử dụng 0<><> Càng lớn và càng gần 1.0 càng tốt, vì người sử dụng có thể sử dụng phần mềm lâu hơn. 0<><> Càng lớn và càng gần 1.0 càng tốt. (a),(b) Tuyệt đối To = Thời gian Tr = Thời gian X = Thời gian/Thời gian A1 = Số đếm A2 = Số đếm Y = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH : Khuyến nghị rằng phép đánh giá khả n ă ng phục hồi ch ỉ bao gồm phục hồi tự động bằng phần mềm và kh ô ng bao gồm công việc bảo trì của con người. Thời gian chết trung bình Thời gian trung bình hệ thống không sẵn sàng khi lỗi xảy ra trước khi khởi động lại từ từ là bao nhiêu? Đo thời gian chết mỗi lần hệ thống không sẵn sàng trong khoảng thời gian thử nghiệm xác định và tính thời gian trung bình X = T/N T = Tổng thời gian chết N = Số lần hỏng hóc quan sát được Trường hợp xấu nhất và phân bố của thời gian chất cũng phải được đo. 0<> Càng nhỏ càng tốt, vì thời gian hệ thống chết càng nhỏ hơn. Tỷ lệ T = Thời gian N = Số đếm X = Thời gian/Số đếm Báo cáo kiểm tra Báo cáo vận hành 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành 6.5 Xác nhận Người sử dụng Người bảo trì CHÚ THÍCH: 1 . Khuy ế n ngh ị r ằ ng phép đánh gi á khả năng phục hồi ch ỉ bao g ồ m p hục hồi tự động bằng phần mềm và không bao gồm công việc bảo trì của con người 2 . Cầ n chuy ển đổi gi á tr ị (X) tới đoạn <0,1> nếu tổng kết các đặc tính. Thời gian phục hồi trung bình Thời gian trung bình mà hệ thống hoàn thành việc phục hồi bắt đầu từ giai đoạn đầu của quá trình phục hồi là bao nhiêu? Đo thời gian phục hồi toàn bộ cho mỗi lần hệ thống có sự cố trong khoảng thời gian thử nghiệm xác định và tính thời gian trung bình. X = Tổng (T)/B T = Thời gian phục hồi hệ thống phần mềm bị lỗi tại mỗi thời điểm N = Số trường hợp hệ thống phần mềm được đưa vào phục hồi quan sát được 0<> Càng nhỏ càng tốt. Tỷ lệ T = Thời gian N = Số đếm X = Thời gian/Số đếm Báo cáo kiểm tra Báo cáo vận hành 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành 6.5 Xác nhận Người sử dụng Người bảo trì CHÚ THÍCH: 1 . Khuyến ngh ị đo thời gian l ớ n nhất của trường hợp xấu nhất hoặc đo phân bố thời gian phục hồi cho nhiều trường hợp. 2. Khuy ế n nghị rằng ph é p đánh giá khả năng phục hồi này ch ỉ bao gồm phục hồi tự động bằng phần mềm và không bao g ồm công việc duy t rì của con người. 3. Khuy ế n nghị phân biệt mức độ khó của phục hồi, v í dụ, phục h ồ i cơ s ở dữ liệu b ị phá hủy khó hơn so với phục h ồ i gi ao tác bị phá hủy. 4. Cần chuyển đ ổ i giá trị (X) t ớ i đoạn <0,1> nếu tổng k ế t các đặc tính. Khả năng khởi động lại Tần suất hệ thống có thể khởi động lại để cung cấp dịch vụ cho người sử dụng trong một khoảng thời gian yêu cầu là như thế nào? Đếm số lần hệ thống khởi động lại và cung cấp dịch vụ cho người sử dụng trong khoảng thời gian yêu cầu mục tiêu và so sánh nó với tổng số lần khởi động lại, khi hệ thống có sự cố trong khoảng thời gian thử nghiệm xác định. X = A/B A = Số lần khởi động lại đáp ứng khoảng thời gian yêu cầu trong quá trình kiểm tra hoặc hỗ trợ vận hành cho người sử dụng B = Tổng số lần khởi động lại trong quá trình kiểm tra hoặc hỗ trợ vận hành cho người sử dụng 0<><> Càng lớn và càng gần 1.0 càng tốt, vì người sử dụng có thể khởi động lại dễ dàng. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành 6.5 Xác nhận Người sử dụng Người bảo trì CHÚ THÍCH 1. K huyến ngh ị ước lượng các thời gian kh ở i đ ộ ng l ạ i khác nhau nh ằ m đáp ứng mức nghi ê m ngặt của sự cố , như phá hủy cơ sở dữ liệu, m ấ t nhi ề u tá c giao, m ất tá c giao đ ơn, hay phá h ủ y dữ liệu tạm thời. 2. Khuyến ngh ị rằng phép đánh giá khả năng phục hồi này ch ỉ bao gồm phục hồi tự động b ằ ng phần mềm và không bao gồm c ô ng việc bảo trì của con người Khả năng khôi phục lại Khả năng tự khôi phục lại của sản phẩm sau khi có sự kiện bất thường xảy ra hoặc khi có yêu cầu? Đếm số lần khôi phục thành công và so sánh với số lần khôi phục được kiểm tra được yêu cầu trong đặc tả. Các ví dụ về yêu cầu khôi phục: điểm kiểm tra của cơ sở dữ liệu, điểm kiểm tra của các giao dịch, chức năng làm ngược thao tác cũ, chức năng thực hiện lại thao tác cũ,… X = A/B A = Số lượng trường hợp khôi phục được thực hiện thành công B = Số trường hợp khôi phục đã được kiểm tra theo yêu cầu 0<><> Càng gần bằng 1.0 càng tốt, vì sản phẩm có khả năng phục hồi tốt hơn trong các trường hợp xác định Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Đặc tả yêu cầu Đặc tả kiểm tra hay Hướng dẫn sử dụng Báo cáo kiểm tra Báo cáo vận hành 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành 6.5 Xác nhận Người sử dụng Người bảo trì CHÚ THÍCH: Khuy ế n nghị ph é p đánh giá này ch ỉ bao gồm phục hồi tự động cung c ấ p b ởi phần mềm và kh ô ng bao gồm công việc bảo trì của con người. Tính hiệu quả của việc khôi phục lại Khả năng khôi phục lại hiệu quả như thế nào? Đếm số lần khôi phục được kiểm tra đáp ứng thời gian khôi phục mục tiêu và so sánh với số lần khôi phục cần thiết với thời gian mục tiêu xác định. X = A/B A = Số trường hợp khôi phục thành công đáp ứng thời gian khôi phục mục tiêu B = Số trường hợp được thực hiện 0<><> Càng gần bằng 1.0 càng tốt, vì quá trình khôi phục trong sản phẩm hiệu quả hơn. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành 6.5 Xác nhận Người sử dụng Người bảo trì CHÚ THÍCH: Khuy ế n nghị phép đánh giá này chỉ bao gồm phục hồi tự động cung cấp bởi phần mềm và không bao gồm công việc bảo trì của con người. 7.2.4. Các phép đánh giá tuân thủ của tính tin cậy Phép đánh giá tuân thủ của tính tin cậy ngoài phải có khả năng đo thuộc tính như số l ượng chức năng cùng với, hoặc xuất hiện các vấn đề tuân thủ, mà sản phẩm phần mềm không tôn trọng triệt để các tiêu chuẩn, quy ước hay quy định liên quan đến tính tin cậy. Bảng 9- Bảng các phép đánh giá tuân thủ của tính tin cậy Các phép đánh giá tính năng tuân thủ tin cậy ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tuân thủ của tính tin cậy Tính tin cậy của sản phẩm tuân thủ các quy định, tiêu chuẩn và quy ước đang áp dụng như thế nào? Đếm số lượng các điều khoản yêu cầu tuân thủ được thỏa mãn và so sánh với số các điều khoản yêu cầu tuân thủ trong đặc tả. X = 1 - A/B A = Số các điều khoản tuân thủ của tính tin cậy được xác định là không được triển khai trong quá trình kiểm tra B = Tổng số các điều khoản tuân thủ của tính tin cậy được xác định 0<><> Càng gần bằng 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của việc tuân thủ và các tiêu chuẩn, quy ước hoặc quy định liên quan. Đặc tả kiểm tra và báo cáo 5.3 Kiểm tra chất lượng 6.5 Xác nhận Nhà cung cấp Người sử dụng CHÚ THÍCH: C ó th ể l à c ó ích nếu như thu thập các giá trị đo được theo thời gian, đ ể ph â n tích xu hướng gia tăng các điều khoản tuân thủ được th ỏ a mãn và xác đ ị nh chúng hoàn toàn thỏa m ã n hay không. 7.3. Các phép đánh giá tính khả dụng Các phép đánh giá tính khả dụng đo khả năng mà phần mềm có thể được hiểu, học, vận hành, thân thiện và tuân thủ với các quy tắc khả dụng và hướng dẫn . Rất nhiều các phép đánh giá tính khả dụng ngoài được kiểm tra bởi người sử dụng khi thử sử dụng chức năng. Các kết quả sẽ bị tác động bởi các khả năng của người sử dụng và đặc tính của hệ thống chủ. Điều này không phủ nh ậ n tính hợp lệ của các phép đo, do phần mềm được đánh giá thực hiện dưới các điều kiện rõ ràng xác định bởi người sử dụng mẫu đại diện cho nhóm người sử dụng được thừa nhận. (Đối với các sản phẩm mục đích chung, các đại diện của một dải các nhóm người sử dụng c ó thể được dùng.) Để kết quả tin cậy, c ầ n mẫu của ít nhất tám người sử dụng, mặc d ù thông tin có ích có thể đạt được từ các nhóm nhỏ hơn. Người sử dụng phải hoàn thành kiểm tra kh ô ng dùng bất cứ gợi ý hay trợ giúp bên ngoài nào. Các phép đánh giá cho tính dễ hiểu, dễ học, và dễ vận hành có hai dạng phương pháp ứng dụng: kiểm tra người sử dụng hay kiểm tra của sản phẩm khi sử dụng. CHÚ THÍCH: 1. Kiểm tra ng ườ i sử dụng Người sử dụng cố gắng s ử d ụ ng chức năng kiểm tra nhi ề u phép đánh giá ngoài. Các phép đo này có thể thay đổi nhiều giữa các c á nhân khác nhau. Mẫu người sử dụng đại diện cho nhóm người sử dụng xác định phải ho à n thành kiểm tra không dùng b ấ t cứ gợi ý hay trợ giúp bên ngoài nào. (Đ ố i với các sản phẩm mục đích chung, các đại diện của một dả i các nhóm người sử dụng có thể được dùng.) Đ ể kết quả tin cậy, cần mẫu của ít nh ấ t tám người sử dụng, mặc dù thông tin có ích có thể đạt được từ các nhóm nhỏ hơn. Phải có khả năng đ ể các phép đo được sử dụng thiết lập tiêu chí ch ấ p nh ậ n hoặc để so sánh giữa các sản phẩm. Đi ề u đó c ó nghĩa l à các phép đo phải là các thành phần đếm hoặc các giá trị đã biết . Các k ế t quả phải báo c á o giá trị trung bình sai số chuẩn của giá trị trung bình. Nhi ề u phép đánh giá nh ư vậy c ó thể được kiểm tra với các nguyên mẫu trước đ ó của phần mềm. Phép đánh giá nào có khả năng á p dụng sẽ phụ thuộc vào mức độ quan trọng tương quan của các kh í a c ạ nh k hác nhau của t í nh khả dụng, và khả năng của chất lư ợ ng theo sau trong quá trình kiểm tra sử dụng. 2. Ki ể m tra sản phẩm khi sử dụng Thay cho việc ki ể m tra c á c chức n ă ng c ụ thể, một số các phép đánh giá ngoài lại quan sát việc sử dụng chức năng trong quá trình sử dụng t ổ ng quan hơn của sản phẩm để hoán t ấ t một nhiệm vụ t iêu biểu như l à một phần của kiểm tra chất lượng sử dụng (TCVN 8704). Điều này c ó l ợ i ích là đòi hỏi í t b à i kiểm tra hơn. B ấ t lợi l à một số chức năng có thể ch ỉ được sử dụng r ấ t hiếm trong quá trình sử dụng bình thường . Phải có khả năng để các phép đo được sử dụng thiết lập tiêu ch í ch ấ p nh ậ n hoặc để so sánh giữa các sản phẩm. Điều đó có nghĩa là các phép đo ph ả i l à các thành phần đếm hoặc các giá trị đã biết. Các kết quả ph ả i báo cáo giá trị trung bình sai số chu ẩ n của giá trị trung bình. 7.3.1. Các phép đánh giá tính d ễ hiểu Người sử dụng phải có khả năng lựa chọn sản phẩm phần mềm phù hợp cho việc sử dụng dự kiến của họ. Phép đánh giá tính dễ hiểu ngo à i phải có khả năng ước lượng người sử dụng mới có thể hiểu hay không: • Phần mềm có phù hợp hay không • Nó có thể được sử dụng như thế nào cho các nhiệm vụ đặc thù. Bảng 10 - Bảng các phép đánh giá tính dễ hi ể u Các phép đánh giá tính dễ hiểu ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tính đầy đủ của tài liệu mô tả Tỷ lệ các chức năng (hoặc các dạng chức năng) hiểu được sau khi đọc tài liệu mô tả sản phẩm là bao nhiêu? Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi hoặc quan sát thái độ người sử dụng. Đếm số chức năng được hiểu thỏa đáng và so sánh với tổng số lượng chức năng trong sản phẩm. X = A/B A = Số chức năng (hay các dạng chức năng) hiểu được B = Tổng số các chức năng (hay các dạng chức năng) 0<><> Càng tiến gần tới 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Hướng dẫn sử dụng Báo cáo vận hành (kiểm tra) 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH: Điều n à y ch ỉ rằng người sử dụng tiềm năng có hi ể u công năng của sản ph ẩ m sau khi đọc m ô t ả sản phẩm h ay không. Khả năng truy cập thuyết minh Tỷ lệ của quá trình thuyết minh/ hướng dẫn người sử dụng có thể truy cập là bao nhiêu? Tiến hành kiểm tra người sử dụng và quan sát thái độ người sử dụng. Đếm số các chức năng được thuyết minh thỏa đáng và so sánh với tổng số các chức năng yêu cầu khả năng thuyết minh X = A/B A = Số các thuyết minh/ hướng dẫn mà người sử dụng truy cập thành công B = Số các thuyết minh/ hướng dẫn sẵn có 0<><> Giá trị X càng tiến tới 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Hướng dẫn sử dụng Báo cáo vận hành (kiểm tra) 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH: Đi ề u này ch ỉ rằng người sử dụng có thể t ì m thấy thuyết minh và/hoặc hướng dẫn hay kh ô ng . Khả năng truy cập thuyết minh khi sử dụng Tỷ lệ của thuyết minh/ hướng dẫn người sử dụng có thể truy cập bất cứ khi nào người sử dụng thực sự cần trong quá trình vận hành là bao nhiêu? Quan sát thái độ người sử dụng đang cố gắng xem các thuyết minh/hướng dẫn. Việc quan sát có thể được thực hiện thông qua phương thức giám sát hành động có ý thức của con người với máy Camera. X = A/B A = Số các trường hợp người sử dụng xem được thuyết trình khi họ cố gắng thử xem. B = Số các trường hợp người sử dụng cố gắng xem thuyết trình trong giai đoạn quan sát 0<><> X càng tiến tới 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Hướng dẫn sử dụng Báo cáo vận hành (kiểm tra) Bản ghi quan sát người sử dụng (băng video và các bản ghi hành động) 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH: Điều này chỉ rằng người sử dụng c ó th ể t ì m thấy thuyết minh và/hoặc hướng dẫn khi sử dụng sản phẩm hay không Hiệu quả của thuyết minh Tỷ lệ các chức năng người sử dụng có thể vận hành thành công sau khi được thuyết minh hay hướng dẫn là bao nhiêu? Quan sát thái độ người sử dụng đang cố gắng xem các thuyết minh/hướng dẫn. Việc quan sát có thể được thực hiện thông qua phương thức giám sát hành động có ý thức của con người với máy Camera. X = A/B A = Số các chức năng hoạt động thành công B = Số lượng các thuyết minh/ hướng dẫn được truy cập 0<><> Càng gần 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Hướng dẫn sử dụng Báo cáo vận hành (kiểm tra) 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH: Điều này chỉ rằng người sử dụng có thể vận hành các chức năng thành công sau khi xem thuyết minh hoặc hướng dẫn hay không. Các chức năng rõ ràng Tỷ lệ các chức năng (hoặc các dạng chức năng) có thể được nhận biết bởi người sử dụng dựa trên các điều kiện ban đầu bao nhiêu? Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi hoặc quan sát thái độ người sử dụng. Đếm số các chức năng rõ ràng đối với người sử dụng và so sánh với tổng số các chức năng. X = A/B A = Số lượng các chức năng (hoặc các dạng chức năng) được nhận biết bởi người sử dụng B = Tổng số các chức năng thực tế (hoặc các dạng chức năng) 0<><> X càng tiến tới 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Hướng dẫn sử dụng Báo cáo vận hành (kiểm tra) 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH: Điều này chỉ rằng người sử dụng có khả năng xác định các chức năng b ằ ng cách thăm dò giao diện (t ứ c l à xem xét các menu) hay không. Khả năng dễ hiểu của chức năng Tỷ lệ các chức năng sản phẩm người sử dụng có khả năng hiểu được chính xác là bao nhiêu? Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi. Đếm số các chức năng giao diện người sử dụng mà mục đích dễ hiểu và so sánh với số các chức năng sẵn sàng cho người sử dụng. X = A/B A = Số lượng các chức năng giao diện mà mục đích của nó được mô tả chính xác bởi người sử dụng B = Tổng số các chức năng sẵn sàng từ giao diện 0<><> X càng tiến tới 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Hướng dẫn sử dụng Báo cáo vận hành (kiểm tra) 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH: Điều này chỉ rằng người sử dụng có khả năng hi ể u các chức năng b ằ ng cách thăm dò giao diện (t ứ c l à xem xét các menu) hay không. Đầu vào và đầu ra có khả năng hiểu được Người sử dụng có thể hiểu được những gì được yêu cầu tại dữ liệu đầu vào và những gì được cung cấp tại dữ liệu đầu ra bởi hệ thống phần mềm hay không? Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi hoặc quan sát thái độ người sử dụng. Đếm số các thành phần dữ liệu đầu vào và đầu ra mà người sử dụng có thể hiểu và so sánh với tổng số các thành phần sẵn sàng cho người sử dụng. X = A/B A = Số lượng các thành phần dữ liệu đầu vào và đầu ra người sử dụng có thể hiểu chính xác. B = Số lượng các thành phần dữ liệu đầu vào và đầu ra sẵn sàng từ giao diện 0<><> X càng tiến tới 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Hướng dẫn sử dụng Báo cáo vận hành (kiểm tra) 6.5 Xác nhận 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH : Điều n à y ch ỉ r ằ ng người sử dụng c ó khả năng hi ể u khu ô n dạng trên đó dữ liệu phải được đưa v à o và nhận bi ế t ý nghĩa của dữ liệu đầu ra hay không . 7.3.2. Các phép đánh giá khả năng dễ học Phép đánh giá khả năng dễ học phải có khả năng ước lượng người sử dụng mất bao nhiêu thời gian để học sử dụng các chức năng đặc thù, và tính hiệu quả của các hệ thống và tài liệu trợ giúp. Khả năng dễ học liên hệ chặt chẽ với khả năng dễ hiểu, và các phép đo khả n ă ng dễ hiểu có thể là bộ ch ỉ thị tiềm năng dễ học của phần mềm. Bảng 9 1 - Bảng các phép đánh giá khả năng dễ học Các phép đánh giá khả năng dễ học ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Khả năng dễ dàng học chức năng Người sử dụng mất bao lâu để học sử dụng chức năng? Tiến hành kiểm tra người sử dụng và quan sát thái độ người sử dụng. T = Thời gian trung bình để học sử dụng chức năng chính xác 0<> Càng nhỏ càng tốt. Tỷ lệ T = Thời gian Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH: Phép đánh giá này được sử dụng chung như phép đánh giá kinh nghiệm và biện minh. Khả năng dễ dàng học cách thực hiện một nhiệm vụ khi sử dụng Người sử dụng mất bao nhiêu thời gian để học cách thực hiện một nhiệm vụ xác định một cách hiệu quả Quan sát thái độ người sử dụng từ khi họ bắt đầu học đến khi họ bắt đầu vận hành một cách hiệu quả. T = Tổng thời gian khai thác của người sử dụng cho đến khi người sử dụng đạt được thực hiện một nhiệm vụ xác định trong thời gian ngắn 0<> Càng nhỏ càng tốt Tỷ lệ T = Thời gian Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH: 1. Khuyến nghị t ì m thời gian vận hành mong đợi của người sử dụng là một thời gian ngắn. Thời gian vận hành này của người sử dụng có thể l à ngưỡng, v í dụ như, nó là 70% của thời gian tại lần sử dụng đ ầ u t iê n l à một tỷ lệ hợp lý. 2. Trong kết quả có thể thay thời gian bằng đơn vị người-giờ. Tính hiệu quả của các tài liệu hướng dẫn người sử dụng và/ hoặc hệ thống trợ giúp Tỷ lệ nhiệm vụ được hoàn thành một cách chính xác sau khi sử dụng tài liệu hướng dẫn và/ hoặc hệ thống trợ giúp là bao nhiêu? Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ. Đếm số nhiệm vụ được hoàn thành đúng sau khi truy cập vào hệ thống trợ giúp trực tuyến và/ hoặc tài liệu hướng dẫn, so sánh với tổng số nhiệm vụ được kiểm tra. X = A/B A = Số nhiệm vụ được hoàn thành đúng sau khi truy nhập vào hệ thống trợ giúp trực tuyến và/hoặc tài liệu hướng dẫn B = Tổng số nhiệm vụ được kiểm tra 0<><> Càng gần bằng 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người bảo trì CHÚ THÍCH: Có thể có ba phép đánh giá: độ phức tạp của tài liệu, độ phức tạp củ a phương tiện trợ giúp, hoặc độ phức tạp của trợ giúp v à t à i liệu sử dụng kết hợp. Tính hiệu quả của các tài liệu hướng dẫn người sử dụng và/ hoặc hệ thống trợ giúp trong khi sử dụng Tỷ lệ các chức năng có thể được sử dụng đúng đắn sau khi đọc tài liệu hướng dẫn hoặc sử dụng các hệ thống trợ giúp là bao nhiêu? Quan sát thái độ của người sử dụng. Đếm số lượng các chức năng được sử dụng đúng đắn sau khi đọc tài liệu hướng dẫn hoặc sử dụng hệ thống trợ giúp và so sánh với tổng số các chức năng. X = A/B A = Số chức năng có thể được sử dụng B = Tổng số các chức năng được cung cấp 0<><> Càng gần bằng 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng Khả năng truy cập trợ giúp Tỷ lệ các chủ đề trợ giúp người sử dụng có thể xác định là bao nhiêu? Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ. Đếm số nhiệm vụ có hỗ trợ trực tuyến được xác định và so sánh với tổng số các nhiệm vụ được kiểm tra. X = A/B A = Số nhiệm vụ có trợ giúp trực tuyến được xác định B = Tổng số nhiệm vụ được kiểm tra 0<><> Càng gần bằng 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng Tần suất trợ giúp Người sử dụng thường xuyên truy cập vào hệ thống trợ giúp học cách vận hành để hoàn thành công việc của họ như thế nào? Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ. Đếm số trường hợp người sử dụng truy cập vào hệ thống trợ giúp để hoàn thành công việc của mình. X = A A = Số lượng truy cập vào hệ thống trợ giúp cho đến khi người sử dụng hoàn thành công việc của mình. 0<> Càng gần bằng 0 càng tốt Tuyệt đối A = Số đếm X = Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện 7.3.3. Các phép đánh giá khả năng dễ vận hành Phép đánh giá khả năng dễ vận hành ngoài phải có khả năng ước lượng người sử dụng có thể vận hành và điều khiển phần mềm hay không. Các phép đánh giá khả năng dễ vận hành có thể được phân loại bởi các nguyên lý đối thoại trong ISO 9241-10: • T í nh phù hợp của phần mềm đối với nhiệm vụ • Tính sinh động của phần mềm • Khả năng điều khiển của phần mềm • Sự thích hợp của phần mềm với các mong muốn của người sử dụng • Khả năng chịu lỗi của phần mềm • Tính phù hợp của phần mềm đối với cá tính hóa. Việc lựa chọn các chức năng kiểm tra sẽ chịu ảnh hưởng bởi tần suất mong muốn sử dụng các chức năng, và tính quan trọng của chức năng, và bất kỳ vấn đề tính khả dụng định trước nào. Bảng 102 - Bảng các phép đánh giá khả năng dễ vận hành Các phép đánh giá khả năng dễ vận hành ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng a) Phù hợp với mong muốn vận hành của người sử dụng Tính phù hợp của vận hành trong sử dụng Các thành phần giao diện người sử dụng phù hợp như thế nào? Quan sát thái độ của người sử dụng và hỏi ý kiến của họ. a) X = 1 - A/B A = Số bản tin hoặc chức năng người sử dụng thấy không phù hợp với mong muốn của mình B = Số bản tin hoặc chức năng b) Y = N/UOT N = Số lần vận hành người sử dụng thấy không phù hợp với mong muốn. UOT = Thời gian vận hành của người sử dụng (trong khoảng thời gian quan sát 0<><> Càng gần bằng 1.0 càng tốt. 0<> Càng gần bằng 0 càng tốt. Tuyệt đối b) Tỷ lệ A = Số đếm B = Số đếm X = Số đếm/Số đếm UOT = Thời gian N = Số đếm Y = Số đếm/Thời gian Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH: 1. Kinh nghiệm vận hành của người sử dụng t hông thường hữu ích đ ể nh ậ n biết nhiều mẫu vận hành xuất phá t từ mong muốn của ng ười sử dụng. 2. C ả hai "dự báo đầu vào" và " dự báo đ ầ u ra " đều hiệu quả cho tính phù hợp của vận hành. 3. Phép đánh giá này có thể được sử dụng đ ể đo "D ễ dàng vận hành' và " Giao tiếp thu ậ n tiện". Sửa lỗi Người sử dụng có thể dễ dàng sửa lỗi trong các nhiệm vụ không? Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ. T = Tc - Ts Tc = Thời điểm hoàn thành việc sửa lỗi nhất định của nhiệm vụ thực thi. Ts = Thời điểm bắt đầu sửa các loại lỗi nhất định của nhiệm vụ được thực thi. 0<> Càng nhỏ càng tốt. Tỷ lệ Ts, Tc = Thời gian T = Thời gian Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH: Đề xuất người sử dụng phép đánh giá này xác định các loại lỗi cho các trường hợp kiểm tra mẫu bằng cách xem xét, ví dụ, tính nghiêm trọng (lỗi hiển thị hay dữ liệu bị hủy), loại lỗi vào/ra (lỗi văn bản đầu vào, lỗi dữ liệu ra cơ sở dữ liệu hay lỗi đồ họa trên màn hình) hoặc loại của trạng thái vận hành lỗi (sử dụng tương tác hoặc vận hành khẩn cấp). Sửa lỗi trong sử dụng Người sử dụng có thể dễ dàng khôi phục lỗi hoặc thực hiện lại công việc? Người sử dụng có thể dễ dàng khôi phục lại đầu vào không? Quan sát thái độ của người sử dụng đang vận hành phần mềm. a) X = A/UOT A = Số lần người sử dụng hủy bỏ thành công các vận hành lỗi của họ UOT = Thời gian vận hành của người sử dụng trong quá trình quan sát. CHÚ THÍCH: Khi các chức năng được kiểm tra lần lượt, tỷ lệ cũng có thể được tính như tỷ lệ của các số chức năng người sử dụng hủy bỏ vận hành thành công và tất cả các chức năng. b) X = A/B A = Số lượng bảng hay biểu mẫu trong đó dữ liệu đầu vào được sửa đổi hay thay thế thành công trước khi được gia công B = Số lượng bảng hay biểu mẫu trong đó người sử dụng cố gắng sửa đổi hay thay thế dữ liệu đầu vào trong thời gian vận hành của người sử dụng được quan sát 0<> Càng lớn càng tốt. 0<><> Càng gần bằng 1.0 càng tốt. Tỷ lệ Tuyệt đối A = Số đếm UOT = Thời gian X = Số đếm/Thời gian A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng c) Thích hợp cho vận hành nhiệm vụ Tính sẵn sàng của giá trị mặc định trong sử dụng Người sử dụng có thể dễ dàng chọn các giá trị tham số để thuận tiện trong khi vận hành? Quan sát thái độ của người sử dụng vận hành phần mềm. Đếm số lần người sử dụng cố gắng thiết lập hoặc lựa chọn các giá trị tham số và thất bại (bởi vì người sử dụng không thể sử dụng các giá trị mặc định cung cấp bởi phần mềm) X = 1 - A/B A = Số lần người sử dụng thất bại trong việc thiết lập hoặc lựa chọn giá trị tham số trong thời gian ngắn (bởi vì họ không thể sử dụng các giá trị mặc định cung cấp bởi phần mềm) B = Tổng số lần người sử dụng lựa chọn hoặc thiết lập các giá trị tham số 0<><> Càng gần bằng 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH 1. Khuyến nghị quan sát và ghi l ại thái độ của người sử dụng và quyết định độ d à i khoảng thời gian cho phép để lựa chọn các giá trị tham số như "khoảng thời gian ngắn". 2. Khi chức năng thiết lập tham số được kiểm tra cho mỗi chức năng, tỷ l ệ chức năng cho phép cũng có thể được tính . 3 . Khuyến ngh ị tiến hành kiểm tra chức năng bao hàm c ả các chức năng thiết lập tham số. d) Mô tả (Hướng dẫn) Khả năng hiểu được bản tin trong sử dụng Người sử dụng có thể dễ dàng hiểu các bản tin từ hệ thống phần mềm? Liệu có bản tin nào gây ra khó hiểu cho người sử dụng trước khi bắt đầu thực hiện thao tác tiếp theo? Người sử dụng có thể dễ dàng nhớ các bản tin quan trọng hay không? Quan sát thái độ của người sử dụng vận hành phần mềm. X = A/UOT A = Số lần người sử dụng dừng lại trong thời gian dài hoặc liên tục và lặp lại thất bại thực hiện cùng một thao tác, do không hiểu rõ bản tin. UOT = Thời gian vận hành của người sử dụng (khoảng thời gian quan sát) 0<> Càng gần bằng 0 càng tốt. Tỷ lệ A = Số đếm UOT = Thời gian X = Số đếm/Thời gian Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH: 1. Giải thích th ê m về sự dễ d àng th ấ u hiểu bản tin được biểu diễn b ằ ng độ d ài thời gian b ả n tin g â y ra ch ậ m trễ trong việc hi ể u của người sử dụng trước khi b ắ t đầu thao tác tiếp theo. Do đó, khuyến nghị quan sát và ghi lại th á i độ người vận hành và quyết định độ d ài thời gian của sự d ừ ng lại để xem x é t như “khoảng thời gian d à i". 2. Khuyến nghị phát hiện c á c nguyên nhân c ó khả năng của các v ấ n đề hiểu b ả n tin của người sử dụng như sau a) Sự chăm chú : Sự chăm chú có ngh ĩ a l à người sử dụng nhận biết th à nh c ô ng thông tin trong các bản tin quan trọng: như hư ớ ng dẫn thao tác các bước tiếp theo, t ê n của các mục dữ liệu được xét, và các c ả nh báo về vận hành thận trọng . - Có khi n à o người sử dụng không xem khi b ắt gặp các b ả n tin quan trọng? - Ng ười sử dụng c ó thể tr á nh các l ỗ i trong vận hành do nhận biết đ ược các bản tin quan trọng? b) Khả năng nhớ: Khả năng nhớ có nghĩa là người sử dụng nhớ các thông tin trong các bản tin quan trọng như hướng dẫn thao tác các bước tiếp theo, tên của các mục dữ liệu được xét , và các cảnh báo về vận hành thận trọng. - Người sử dụng có dễ dàng nhớ các bản tin quan trọng? - Các bản tin quan trọng được ghi nhớ có giúp ích cho người sử dụng? - Người sử dụng c ó cần gh i nhớ ch ỉ một số các bản tin quan trọng ch ứ không quá nhiều? 3. Khi các bản tin được kiểm tra lần lượt, tỷ lệ các bản tin được hi ể u và t ổ ng số các bản tin cũng có thể được tính. 4. Khi có một số người sử dụng t ham gia vận hành đ ượ c quan sát, tỷ lệ người sử dụng hiểu các b ả n tin và tổng số người sử dụng cũng có thể được t í nh. Các bản tin lỗi rõ ràng Tỷ lệ lỗi người sử dụng đề xuất hành động phục hồi lỗi chính xác trong điều kiện bị lỗi là bao nhiêu? Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ. X = A/B A = Số lượng lỗi mà được người sử dụng đề xuất hành động phục hồi chính xác. B = Số lượng lỗi được kiểm tra 0<><> Càng gần bằng 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng e) Khả năng chịu lỗi vận hành (không tính lỗi do con người) Khả năng phục hồi lỗi vận hành trong sử dụng Liệu người sử dụng có thể dễ dàng phục hồi tình trạng xấu nhất của họ không? Quan sát thái độ của người sử dụng vận hành phần mềm X = 1 - A/B A = Số trường hợp phục hồi lỗi không thành công (sau khi có lỗi, hoặc thay đổi của người sử dụng) mà người sử dụng không được hệ thống thông báo có rủi ro B = Số lượng lỗi hoặc thay đổi của người sử dụng 0<><> Càng gần bằng 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH: Công thức trên th ể hiện trường hợp xấu nh ấ t. Người sử dụng phép đánh giá này có thể đưa ra k ết hợp của 1) số l ỗ i người sử dụng được/ kh ô ng được c ả nh báo t ừ hệ t hống ph ầ n mềm và 2) s ố trường hợp người sử dụng phục hồi thành công/ Không th à nh công t ì nh trạng. Khỏang thời gian giữa các vận hành lỗi do con người trong sử dụng Liệu người sử dụng có thể vận hành phần mềm trong thời gian dài mà không có lỗi? Quan sát thái độ của người sử dụng vận hành phần mềm. X = T/N (tại thời điểm t trong khoảng [t-T,t]) T = Thời gian vận hành trong quá trình quan sát (hoặc tổng thời gian vận hành giữa các lần vận hành lỗi của người sử dụng) N = Số lần xảy ra lỗi vận hành do con người 0<> Càng lớn càng tốt. Tỷ lệ T = Thời gian N = Số đếm X = Thời gian/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH: 1. Vận hành lỗi d o con người có thể phát hiện bằng cách đếm thái độ của người sử dụng như sau: a) L ỗ i đơn giản d o con người (Lỗi vô ý): S ố lần người sử dụng ch ỉ gây lỗi vận h ành đ ầ u v à o ; b) Lỗi c ó chủ tâm ( Nh ầ m lẫn): Số lần người sử d ụng lặp lại các lỗi t rên cùng một thao t ác vận hành do hi ể u sai trong t hời gian quan sát; c) Dừng vận hành: số l ầ n người sử dụng dừng lại trong thời gian d à i cùng với sự lưỡ ng lự trong thời gian quan sát. Ng ườ i sử dụng phép đánh gi á n à y đ ược đ ề xuất đo riêng từng loại được đưa ra ở trên. 2. Chúng ta cho rằng việc dừng vận hành c ó nghĩa như vận hành lưỡng lự của người sử dụng. Điều này phụ thuộc vào chức năng, thủ tục vận hành, miền ứng dụng, và người sử dụng được xem xét t rong khoảng thời gian d ài hay không đối với người sử dụng dừng vận hành. D o đ ó, người đánh giá được yêu c ầ u xem xét ch ú ng và xác định ng ưỡn g thời gian hợp l ý . Đ ố i với vận h à nh t ương tác, ngưỡng " kho ả ng thời gian dài" trong khoảng từ 1 đến 3 phút. Khả năng tháo gỡ (Sửa lỗi của người sử dụng) Người sử dụng thường xuyên sửa lỗi đầu vào thành công như thế nào? Người sử dụng thường xuyên hủy lỗi chính xác như thế nào? Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ. a) X = A/B A = Số lượng lỗi đầu vào người sử dụng sửa thành công B = Số lượng cố gắng sửa lỗi đầu vào b) Y = A/B A = Số tình trạng lỗi được người sử dụng sửa thành công B = Tổng số tình trạng lỗi được kiểm tra 0<><> Càng gần bằng 1.0 càng tốt. 0<><> Càng gần bằng 1.0 càng tốt. Tuyệt đối Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH: Phép đánh gi á n à y được sử dụng tổng quát như phép đánh giá thực nghiệm và điều ch ỉ nh. f) Thích hợp cho cá nhân hóa Khả năng tùy biến Người sử dụng có thể dễ dàng tùy biến các thủ tục vận hành cho phù hợp với họ không? Người hướng dẫn người sử dụng có thể dễ dàng thiết lập các mẫu thủ tục vận hành để tránh các lỗi không? Tỷ lệ các chức năng có thể được tùy biến là bao nhiêu? Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ. X = A/B A = Số chức năng được tùy biến thành công B = Số lần cố gắng thực hiện tùy biến 0<><> Càng gần bằng 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Hướng dẫn sử dụng Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH: 1. Tỷ l ệ s ự cố của người sử dụng được tùy biến có thể được đo. Y= 1-(C/D) C = S ố trư ờ ng hợp người sử dụng tùy biến vận hành th ấ t bại D= Tổng số trư ờ ng h ợ p người sử dụng cố gắng tùy biến vận hành cho tiện ích cho họ. 0<><=1, càng="" gần="" 1.0="" càng=""> ố t. 2. Khuyến nghị tuân theo các điều sau như các bi ế n đ ổ i của tùy biến vận hành: - chọn vận hành thay t hế khác, như s ử dụng chọn menu thay cho việc vào lệnh; - kết hợp các thủ tục vận hành người sử dụng, như ghi lại và biên tập thủ tục vận hành; - thiết lập vận hành mẫu ràng buộc, nh ư các thủ tục lập tr ì nh hoặc tạo mẫu cho hư ớ ng dẫn đầu vào. 3. Phép đánh giá này được sử dụng tổng quát như phép đánh giá thực nghiệm và điều ch ỉ nh . Giảm thủ tục vận hành Liệu người sử dụng có thể dễ dàng giảm các thủ tục vận hành cho phù hợp với họ không? Đếm thao tác của người sử dụng cho một quá trình vận hành nhất định, và so sánh giữa thời điểm trước và sau khi tùy biến vận hành. X = 1 - A/B A = Số thủ tục vận hành được giảm bớt sau khi tùy biến vận hành. B = Số lượng các thủ tục vận hành trước khi tùy biến vận hành 0<><> Càng gần bằng 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH: 1. Khuy ế n ngh ị tạo các mẫu cho mỗi nhiệm vụ khác nhau của người sử d ụ ng và phân biệt giữa người vận hành l à người sử dụng có tr ì nh độ và người mới. 2. Số các th ủ t ục vận h à nh có thể đ ượ c biểu diễn bằng c á ch đếm các thao tác vận hành như nhấp chuột, g õ ph í m, tiếp xúc màn h ì nh,... 3. Bao gồm c ả rút gọn b à n ph í m. Khả năng truy cập vật lý Tỷ lệ các chức năng có thể được truy cập bởi tác động vật lý của người sử dụng là bao nhiêu? Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ. X = A/B A = Số chức năng được truy cập thành công B = Số lượng chức năng 0<><> Càng gần bằng 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH: Các ví dụ của không c ó khả năng truy c ậ p vật lý l à không thể sử dụng chuột không nh ì n được màn h ì nh. 7.3.4. Các phép đánh giá t í nh hấp dẫn Phép đánh giá tính hấp dẫn ngoài phải có khả năng đánh giá diện mạo của phần mềm, và sẽ bị tác động bởi các yếu t ố như thiết kế và màu của màn hình. Điều này đặc biệt quan trọng đối với các sản phẩm thương mại. Bảng 113 - Bảng các phép đánh giá tính h ấ p d ẫ n Các phép đánh giá tính hấp dẫn ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tương tác với người sử dụng Giao diện với người sử dụng thân thiện như thế nào? Bản câu hỏi dành cho người sử dụng Bản câu hỏi ước định sự thân thiện của giao diện phần mềm với người sử dụng phần mềm, sau quá trình sử dụng. Phụ thuộc vào phương pháp tính điểm của bản câu hỏi. Tuyệt đối Số đếm Kết quả bản câu hỏi 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng Tùy biến thể hiện giao diện Tỷ lệ các thành phần của giao diện có thể được tùy biến theo sở thích người sử dụng? Tiến hành kiểm tra người sử dụng và quan sát thái độ. X = A/B A = Số các phần giao diện có thể tùy biến thỏa mãn người sử dụng. B = Số các phần giao diện người sử dụng muốn tùy biến. 0<><> X càng gần tới 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Các yêu cầu người sử dụng Báo cáo vận hành (kiểm tra) 6.5 Xác nhận. 5.3 Kiểm tra chất lượng 5.4 Vận hành Người sử dụng Người thiết kế giao diện người sử dụng CHÚ THÍCH: Phép đánh giá này được sử dụng tổng quát như ph é p đánh giá thực nghiệm và điều ch ỉ nh. 7.3.5. Các phép đánh giá tính tuân thủ khả dụng Phép đánh giá tính tuân thủ khả dụng ngoài phải có khả năng đánh giá việc tôn trọng các tiêu chuẩn, quy ước, ch ỉ dẫn khuôn dạng hoặc các quy định liên quan đến tính khả dụng. Bảng 124 - Bảng các phép đánh giá tính tuân thủ khả dụng Các phép đánh giá tính tuân thủ khả dụng ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tính tuân thủ khả dụng Phần mềm hoàn toàn tôn trọng triệt để các tiêu chuẩn, thỏa thuận, hướng dẫn hay quy định liên quan đến tính khả dụng như thế nào? Xác định các điều khoản tuân thủ yêu cầu dựa trên chuẩn, thỏa thuận hướng dẫn hay quy định liên quan đến tính khả dụng. Thiết kế các trường hợp kiểm tra mẫu tương ứng với các điều khoản yêu cầu. Tiến hành kiểm tra chức năng cho các trường hợp kiểm tra mẫu này. X = 1 - A/B A = Các điều khoản tuân thủ yêu cầu về tính khả dụng được xác định nhưng không được triển khai trong quá trình kiểm tra B = Tổng số các điều khoản tuân thủ yêu cầu về tính khả dụng đã được xác định 0<><> Càng gần 1.0 càng tốt Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, thỏa thuận, hướng dẫn hay quy định Đặc tính và báo cáo kiểm tra 5.3 Kiểm tra chất lượng 6.5 Xác nhận Nhà cung cấp Người sử dụng CHÚ THÍCH : Có thể là hữu ích nếu thu thập một số các giá trị đo theo thời gian, ph â n t í ch xu hướng t ă ng của các đi ề u khoản tuân th ủ thỏa m ã n và xác định chúng ho à n toàn thỏa mãn hay không . 7.4. Các phép đánh giá tính hiệu quả Phép đánh giá tính hiệu quả ngoài phải có khả năng đo các thuộc tính như thời gian tiêu tốn và hoạt động sử dụng tài nguyên của hệ thống máy tính trong quá trình kiểm tra hoặc vận hành. Khuyến ngh ị thời gian lớn nhất và thời gian ph â n bố được tìm cho nhiều trường hợp kiểm tra và vận hành, vì rằng phép đo b ị ảnh hưởng mạnh và dao động phụ thuộc vào các điều kiện sử dụng, như t ả i dữ liệu xử lý, tần suất sử dụng, số lượng vị trí kết nối,... Do đó, các phép đánh giá tính hiệu quả có thể bao gồm tỷ lệ của giá trị thực tế đo được với dao động sai số quanh giá trị thiết kế trong dải dao động sai số cho phép đã được yêu cầu trong đặc tả . Khuyến nghị liệt kê và xác định vai trò của các nhân tố như "CPU" và bộ nhớ sử dụng bởi các phần mềm khác, lưu lượng mạng, và các quá trình lập lịch cơ b ả n. Các dao động có thể và d ả i hợp lệ cho các giá trị đo được phải được thành lập và so sánh với đặc tả yêu cầu. Khuyến nghị nhiệm vụ được xác nhận và được định nghĩa phải phù hợp với ứng dụng phần mềm: ví dụ, giao dịch là nhiệm vụ cho ứng dụng kinh doanh; chuy ể n mạch hay gửi gói là nhiệm vụ cho ứng dụng truyền thông; điều khiển sự kiện là nhiệm vụ cho ứ ng dụng điều khiển; và đầu ra của dữ liệu tạo bởi chức năng gọi từ người sử dụng cho ứng dụng người sử dụng công cộng. CHÚ THÍCH: 1. Thời gian đáp ứng: Thời gian c ầ n thiết nhận được kết quả từ khi nhấn phím truyề n. Điều này có nghĩa là thời gian đáp ứng bao gồm c ả th ờ i gian xử lý và thời gian truy ề n tải. Thời gian đáp ứng được áp dụng ch ỉ cho hệ thống tương tác . Kh ô ng có khác biệt nào đáng k ể trong hệ th ố ng độc lập. Tuy nhiên, trong trường hợp hệ thống Internet hoặc hệ thống thời gian thực khác, th ỉ nh thoảng thời gian truyền lại lớn h ơ n rất nhiều. 2. Thời gian xử lý: Th ờ i gian trôi qua trong máy tính giữa thời điểm nhận bản tin và gửi kết quả. Trong một số trường hợp nó bao gồm thời gian mào đ ầ u vận hành, trong trường hợp khác n ó ch ỉ có nghĩa thời gian sử dụng cho chương trình ứng dụng. 3 . Thời gian hoàn thành: Thời gian cần thiết để nh ậ n được kết quả từ yêu c ầ u. Trong nhiều trường h ợ p thời gian hoàn thành bao gồm nhi ề u thời gian đáp ứng. V í dụ, trong trường hợp rút tiền mặt, thời gian hoàn thành là thời gian t ừ khi ấn ph í m kh ở i tạo cho đến khi l ấ y được tiền, trong khoảng thời gian đ ó chúng ta phải chọn loại giao dịch v à đợi bản tin, nhập mật khẩu và đợi bản tin tiếp theo, ... 7.4.1. Các phép đánh giá thời gian hoạt động Phép đánh giá thời gian hoạt động ngoài phải có khả năng đo các thuộc tính như thời gian hoạt động của hệ thống máy tính bao gồm phần mềm trong quá trình kiểm tra hay vận hành. Bảng 135 - Bảng các phép đánh giá thời gian hoạt động Các phép đánh giá thời gian hoạt động ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng a) Thời gian đáp ứng Thời gian đáp ứng Thời gian cần để hoàn thành một nhiệm vụ nhất định là bao nhiêu? Thời gian cần thiết trước khi hệ thống trả lời một vận hành nhất định là bao nhiêu? Bắt đầu một nhiệm vụ nhất định. Đo thời gian ví dụ cần thiết để hoàn thành nhiệm vụ đó. Lưu kết quả cho mỗi lần đo T = (thời điểm nhận được kết quả đo) - (thời điểm kết thúc vào lệnh) 0<> Càng nhỏ càng tốt Tỷ lệ T = Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Tích hợp hệ thống phần mềm 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA CHÚ THÍCH: Khuyến nghị đưa vào dải thời và sử dụng phân tích thống kê với các phép đo cho các nhiệm vụ (ví dụ) chứ không ch ỉ cho một nhiệm vụ. Thời gian đáp ứng (Thời gian đáp ứng trung bình) Thời gian đợi trung bình của người sử dụng từ khi đưa ra yêu cầu đến khi yêu cầu được hoàn thành trong điều kiện tải hệ thống nhất định trên các nhiệm vụ đồng thời và tải sử dụng hệ thống là bao nhiêu? Thực hiện một số kịch bản các nhiệm vụ đồng thời Đo thời gian cần thiết hoàn thành vận hành lựa chọn. Lưu kết quả của mỗi lần đo và tính giá trị trung bình cho mỗi kịch bản. X = Tmean/TXmean Tmean = ∑(Ti)/N, (với i = 1 đến N) TXmean = Thời gian đáp ứng trung bình yêu cầu Ti = Thời gian đáp ứng của lần đánh giá thứ i N = Số lần đánh giá 0<> Càng xấp xỉ bằng 1 càng tốt. Tuyệt đối Tmean = Thời gian TXmean = Thời gian Ti = Thời gian N = Số đếm X = Thời gian/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Tích hợp hệ thống phần mềm 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA CHÚ THÍCH: Thời gian đáp ứng trung bình yêu cầu có thể được lấy từ đặc t í nh của quá trình xử lý t hời gian thực y ê u cầu, mong mu ố n của người sử dụng theo nh u cầu công việc hoặc dựa trên quan sát ph ả n ứng của người sử dụng. Kinh nghiệm người sử d ụ ng trên các khía cạnh lao động cũng có th ể được xem xét . Thời gian đáp ứng (Tỷ lệ thời gian đáp ứng trong trường hợp xấu nhất) Giới hạn tuyệt đối về thời gian cần thiết để hoàn thành một chức năng là bao nhiêu? Trong trường hợp xấu nhất, liệu người sử dụng vẫn có thể nhận được phản hồi trong giới hạn thời gian nhất định không? Trong trường hợp xấu nhất, liệu người sử dụng vẫn nhận được trả lời từ phần mềm trong thời gian đủ ngắn người sử dụng chấp nhận được không? Điều chỉnh bài kiểm tra. Giả lập điều kiện để hệ thống đạt được một trạng thái tải lớn nhất. Thực hiện chương trình và giám sát kết quả. X = Tmax/Rmax Tmax = MAX(Ti) (với i = 1 đến N) Rmax = Thời gian đáp ứng lớn nhất yêu cầu MAX(Ti) = Thời gian đáp ứng lớn nhất trong các lần đánh giá N = Số lần đánh giá Ti = Thời gian đáp ứng lần đánh giá i CHÚ THÍCH: 1. Phân bố có thể được tính toán như sau: Tỷ lệ thống kê cực đại Y = Tdev/Rmax Tdev = Tmean+K(DEV) Tdev là thời gian chênh lệch giữa thời gian trung bình với thời gian thực tế: ví dụ 2 hoặc 3 lần chênh lệch chuẩn. K: hệ số (2 hoặc 3) DEV = SQRT{∑((Ti-Tmean)**2)/(N-1)} (với i = 1 đến N) Tmean = ∑(Ti) / N, (với i = 1 tới N) TXmean = thời gian đáp ứng trung bình yêu cầu 0<> Càng gần bằng 1.0 và nhỏ hơn 1.0 càng tốt. Tuyệt đối Tmax;Rmax;Ti = Thời gian N = Số đếm X = Thời gian/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Tích hợp hệ thống/ phần mềm 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA b) Thông lượng Thông lượng Bao nhiêu nhiệm vụ có thể được thực hiện thành công trong khoảng thời gian cho trước? Điều chỉnh mỗi nhiệm vụ tương ứng với mức độ ưu tiên định trước. Bắt đầu một số các nhiệm vụ. Đo thời gian cần thiết để nhiệm vụ được đo hoàn thành hoạt động của nó. Lưu lại kết quả cho mỗi lần đo. X = A/T A = Số nhiệm vụ được hoàn thành T = Khoảng thời gian quan sát 0<> Càng lớn càng tốt Tỷ lệ A = Số đếm T = Thời gian X = Số đếm/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Tích hợp hệ thống/ phần mềm 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Thông lượng (Giá trị trung bình của thông lượng) Số nhiệm vụ trung bình đồng thời hệ thống có thể xử lý được trong đơn vị thời gian thiết lập là bao nhiêu? Điều chỉnh mỗi nhiệm vụ tương ứng với mức độ ưu tiên định trước. Thực hiện một số các nhiệm vụ đồng thời. Đo thời gian cần thiết để hoàn thành nhiệm vụ được chọn trên điều kiện lưu lượng cho trước. Lưu lại kết quả cho mỗi lần đo. X = Xmean/Rmean Xmean = ∑(Xi) / N Rmean = Thông lượng trung bình yêu cầu Xi = Ai/Ti Ai = Số nhiệm vụ đồng thời quan sát trong khoảng thời gian thiết lập cho lần đánh giá thứ i Ti = Khoảng thời gian thiết lập cho lần đánh giá thứ i N = Số lần đánh giá 0<> Càng lớn càng tốt Tỷ lệ A = Số đếm T = Thời gian X = Số đếm/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Thông lượng (Tỷ lệ thông lượng trong trường hợp xấu nhất) Giới hạn tuyệt đối trong hệ thống trên số lượng và xử lý các nhiệm vụ đồng thời như là thông lượng là bao nhiêu? Điều chỉnh bài kiểm tra. Giả lập điều kiện để hệ thống đạt được trạng thái tải lớn nhất. Thực hiện các nhiệm vụ đồng thời và giám sát kết quả. X = Xmax/Rmax Xmax = MAX(Xi) (với i = 1 đến N) Rmax = Thông lượng lớn nhất yêu cầu MAX(Xi) = Số lớn nhất các nhiệm vụ trong các lần đánh giá Xi = Ai/Ti Ai = Số nhiệm vụ đồng thời quan sát trong khoảng thời gian thiết lập cho lần đánh giá thứ i Ti = Khoảng thời gian thiết lập cho lần đánh giá thứ i N = Số lần đánh giá CHÚ THÍCH: 1. Phân bố có thể được tính toán như sau: Tỷ lệ thống kê cực đại Y = Xdev/Xmax Xdev = Xmean + K(DEV) Xdev là thời gian chênh lệch giữa thời gian trung bình với thời gian thực tế: ví dụ 2 hoặc 3 lần chênh lệch chuẩn. K: hệ số (2 hoặc 3) DEV=SQRT{∑((Xi-Xmean)**2)/(N-1)} (với i=1 đến N) Xmean=∑(Xi)/N, (với i=1 tới N) Xmean = ∑((Xi)/N 0<> Càng lớn càng tốt Tuyệt đối Xmax = Số đếm Rmax = Số đếm Ai = Số đếm Ti = Thời gian Xi = Số đếm/Thời gian N = Số đếm Xdev = Số đếm Xi = Số đếm/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA c) Thời gian hoàn thành Thời gian hoàn thành Thời gian đợi của người sử dụng sau khi đưa lệnh để bắt đầu một nhóm các nhiệm vụ liên quan và khi hoàn thành chúng là bao nhiêu? Điều chỉnh bài kiểm tra tương ứng. Bắt đầu thực hiện nhiệm vụ. Đo thời gian cần thiết cho nhiệm vụ để hoàn thành vận hành. Lưu kết quả đo mỗi lần đo. T = Thời gian giữa kết thúc nhận được kết quả đầu ra và kết thúc đưa yêu cầu của người sử dụng. CHÚ THÍCH: Khuyến nghị đưa ra thông lượng thời gian và sử dụng phân tích thống kê cùng các giá trị đo cho nhiều nhiệm vụ, chứ không chỉ cho một nhiệm vụ. 0<> Càng nhỏ càng tốt Tỷ lệ T = Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Tích hợp hệ thống/ phần mềm 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Thời gian hoàn thành (Thời gian trung bình cho việc hoàn thành) Thời gian đợi trung bình của người sử dụng sau khi đưa lệnh để bắt đầu một nhóm các nhiệm vụ liên quan và khi hoàn thành chúng với tải hệ thống xác định trên các nhiệm vụ đồng thời và tải sử dụng hệ thống là bao nhiêu? Điều chỉnh bài kiểm tra tương ứng. Giả lập điều kiện tải của hệ thống bằng cách thực hiện một số các nhiệm vụ đồng thời. Đo thời gian cần thiết để hoàn thành nhiệm vụ đã chọn trên lưu lượng cho trước. Lưu kết quả cho mỗi lần đo. X = Tmean/TXmean Tmean = ∑(Ti)/N, (với i + 1 đến N) TXmean = Thời gian hoàn thành trung bình yêu cầu Ti = Thời gian hoàn thành cho lần đánh giá thứ i N = Số lần đánh giá 0<> Càng nhỏ càng tốt Tuyệt đối Tmean = Thời gian TXmean = Thời gian Ti = Thời gian N = Số đếm X = Thời gian/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Tích hợp hệ thống/ phần mềm 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Thời gian hoàn thành (Tỷ lệ thời gian hoàn thành trong trường hợp xấu nhất) Giới hạn tuyệt đối về thời gian yêu cầu để hoàn thành nhiệm vụ là bao nhiêu? Trong trường hợp xấu nhất thời gian để hệ thống phần mềm hoàn thành các nhiệm vụ xác định là bao nhiêu? Điều chỉnh bài kiểm tra. Giả lập điều kiện để hệ thống đạt được trạng thái tải lớn nhất trên các nhiệm vụ thực hiện. Thực hiện các nhiệm vụ được chọn và giám sát kết quả. X = Tmax/Rmax Tmax = MAX(Ti) (với i = 1 đến N) Rmax = Thời gian hoàn thành lớn nhất yêu cầu MAX(Ti) = Thời gian hoàn thành lớn nhất trong các lần đánh giá N = Số lần đánh giá Ti = Thời gian hoàn thành cho lần đánh giá thứ i CHÚ THÍCH: 1. Phân bố có thể được tính toán như sau: Tỷ lệ thống kê cực đại Y = Tdev/Rmax Tdev = Tmean+K(DEV) Tdev là thời gian chênh lệch giữa thời gian trung bình với thời gian thực tế: ví dụ 2 hoặc 3 lần chênh lệch chuẩn. K: hệ số (2 hoặc 3) DEV = SQRT{∑((Ti-Tmean)**2)/(N-1)} (với i = 1 đến N) Tmean = ∑(Ti) / N, (với i = 1 tới N) TXmean = thời gian trung bình yêu cầu 0<> Càng gần 1.0 và nhỏ hơn 1.0 càng tốt. Tuyệt đối X = Thời gian/Thời gian Tmax= Thời gian Rmax= Thời gian Ti = Thời gian N = Thời gian Tdev = Thời gian N = Số đếm Xdev = Số đếm Xi = Số đếm/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Thời gian đợi Tỷ lệ thời gian người sử dụng đợi hệ thống trả lời là bao nhiêu? Thực hiện một số các kịch bản nhiệm vụ đồng thời. Đo thời gian cần thiết để hoàn thành các vận hành đã chọn. Lưu kết quả của mỗi lần thử nghiệm và tính thời gian trung bình cho mỗi kịch bản. X = Ta/Tb Ta = Tổng thời gian đợi Tb = thời gian của nhiệm vụ 0<> Càng nhỏ càng tốt Tuyệt đối Ta = Thời gian Tb = Thời gian X = Thời gian/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Tích hợp hệ thống phần mềm 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA CHÚ THÍCH: Nếu các nhiệm vụ có thể hoàn thành từng phần phép đánh giá hiệu quả nhiệm vụ phải được sử dụng khi thực hiện so sánh . 7.4.2. Các phép đánh giá sử dụng tài nguyên Phép đánh giá sử dụng tài nguyên ngoài phải có khả năng đo các thuộc tính như hoạt động của tài nguyên sử dụng của hệ thống máy tính bao gồm phần mềm trong quá trình kiểm tra hay vận hành. Bảng 146 - Bảng các phép đánh giá sử dụng tài nguyên Các phép đánh giá sử dụng tài nguyên ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng a) Sử dụng tài nguyên thiết bị I/O Sử dụng thiết bị I/O Việc sử dụng thiết bị I/O có quá cao, gây ra không hiệu quả? Thực hiện đồng thời một lượng lớn các nhiệm vụ, ghi lại sử dụng của thiết bị I/O, và so sánh với mục tiêu thiết kế. X = A/B A = Thời gian thiết bị I/O được sử dụng. B = thời gian xác định được thiết kế cho việc sử dụng thiết bị. 0<><> Nhỏ hơn và càng gần 1.0 thì tốt hơn. Tuyệt đối A = Thời gian B = Thời gian X = Thời gian/Thời gian Báo cáo kiểm tra Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì SQA Giới hạn tải I/O Giới hạn tuyệt đối của việc sử dụng I/O trong hoàn thành chức năng? Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và giám sát kết quả. X = Amax/Rmax Amax = MAX(Ai), (với i = 1 đến N) Rmax = Bản tin I/O lớn nhất yêu cầu MAX(Ai) = Số lượng lớn nhất bản tin I/O từ lần 1 đến lần đánh giá thứ i. N = Số lần đánh giá 0<> Càng nhỏ càng tốt. Tuyệt đối Amax = Số đếm Rmax = Số đếm Ai = Số đếm N = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Lỗi liên quan đến I/O Người sử dụng thường xuyên gặp vấn đề trong vận hành liên quan đến thiết bị I/O như thế nào? Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố I/O và các cảnh báo. X = A/T A = Số bản tin cảnh báo hoặc sự cố hệ thống T = Thời gian vận hành người sử dụng trong quá trình quan sát. 0<> Càng nhỏ càng tốt. Tỷ lệ A = Số đếm T = Thời gian X = Số đếm/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì SQA Tỷ lệ hoàn thành I/O trung bình Số lượng trung bình của bản tin lỗi liên quan đến I/O và số lần sự cố trong một thời gian xác định và sử dụng xác định là bao nhiêu? Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố I/O và các cảnh báo. X = Amean/Rmean Amean = ∑(Ai)/N Rmean = Số bản tin I/O trung bình được yêu cầu Ai = Số bản tin lỗi cho lần đánh giá thứ i N = Số lần đánh giá 0<> Càng nhỏ càng tốt. Tuyệt đối Amean = Số đếm Rmean = Số đếm Ai = Số đếm N = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Thời gian đợi của người sử dụng khi sử dụng thiết bị I/O Tác động của việc sử dụng thiết bị I/O tới thời gian đợi của người sử dụng là bao nhiêu? Thực hiện đồng thời một lượng lớn các nhiệm vụ và đo thời gian đợi vận hành của thiết bị I/O của người sử dụng. T = Thời gian đợi kết thúc vận hành thiết bị I/O CHÚ THÍCH: Khuyến nghị thời gian lớn nhất và thời gian phân bố được xác định cho nhiều trường hợp kiểm tra hay vận hành, bởi vì các phép đo thường thay đổi bởi điều kiện sử dụng. 0<> Càng nhỏ càng tốt Tỷ lệ T = Thời gian Báo cáo kiểm tra Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA b) Sử dụng tài nguyên bộ nhớ Sử dụng bộ nhớ lớn nhất Giới hạn tuyệt đối của bộ nhớ được yêu cầu để hoàn thành chức năng là bao nhiêu? Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và giám sát kết quả X = Amax/Rmax Amax = MAX(Ai), (với i = 1 đến N) Rmax = Số lượng bản tin lỗi lớn nhất liên quan đến bộ nhớ được yêu cầu MAX(Ai) = Số lượng bản tin lỗi lớn nhất liên quan đến bộ nhớ từ lần đánh giá 1 đến lần i. N = Tổng số lần đánh giá 0<> Càng nhỏ càng tốt Tuyệt đối Amax = Số đếm Rmax = Số đếm Ai = Số đếm N = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Xuất hiện trung bình lỗi bộ nhớ Số lượng trung bình của bản tin lỗi và sự cố liên quan đến bộ nhớ trong một thời gian xác định và tải xác định trong hệ thống là bao nhiêu? Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố bộ nhớ và cảnh báo. X = Amean/Rmean Amean = ∑(Ai)/N Rmean = Số bản tin lỗi trung bình liên quan đến bộ nhớ được yêu cầu Ai = Số bản tin lỗi liên quan đến bộ nhớ trong lần đánh giá thứ i N = Số lần đánh giá 0<> Càng nhỏ càng tốt. Tuyệt đối Amean = Số đếm Rmean = Số đếm Ai = Số đếm N = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Tỷ lệ lỗi bộ nhớ/ thời gian Số lượng lỗi bộ nhớ trong khoảng thời gian thiết lập và sử dụng tài nguyên nhất định là bao nhiêu? Điều chỉnh các điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố bộ nhớ và cảnh báo. X = A/T A = Số lượng bản tin cảnh báo hay sự cố hệ thống T = Thời gian vận hành người sử dụng trong quá trình quan sát. 0<> Càng nhỏ càng tốt. Tỷ lệ A = Số đếm T = Số đếm X = Số đếm/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì SQA c) Sử dụng tài nguyên truyền dẫn Sử dụng truyền dẫn lớn nhất Giới hạn tuyệt đối của truyền dẫn yêu cầu để hoàn thành chức năng là bao nhiêu? Xác định yêu cầu để hệ thống đạt được trạng thái tải lớn nhất. Giả lập điều kiện đó. Thực hiện ứng dụng và giám sát kết quả. X = Amax/Rmax Amax = MAX(Ai), (với i = 1 đến N) Rmax = Số lớn nhất được yêu cầu của bản tin lỗi và sự cố liên quan đến truyền dẫn MAX(Ai) = Số lớn nhất của bản tin lỗi và sự cố liên quan đến truyền tải từ lần đánh giá từ 1 đến lần i. N = Số lần đánh giá 0<> Càng nhỏ càng tốt Tuyệt đối Amax = Số đếm Rmax = Số đếm Ai = Số đếm N = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Cân bằng sử dụng giữa các thiết bị phương tiện Mức đồng bộ giữa các phương tiện khác nhau trong một khoảng thời gian thiết lập là thế nào? Điều chỉnh các điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải truyền dẫn lớn nhất. Thực hiện ứng dụng và ghi lại độ trễ trong quá trình xử lý các loại phương tiện khác nhau. X = SyncTime/T SyncTime = Thời gian dành cho tài nguyên liên tục T = Khoảng thời gian được yêu cầu trong đó các phương tiện không giống nhau được mong đợi kết thúc các nhiệm vụ một cách đồng bộ Càng nhỏ càng tốt. Tỷ lệ SyncTime = Thời gian T = Thời gian X = Thời gian/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì SQA Xuất hiện trung bình lỗi truyền dẫn Số lượng trung bình bản tin lỗi và sự cố liên quan đến truyền tải trong khoảng thời gian xác định và sử dụng xác định là bao nhiêu? Điều chỉnh điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố truyền tải và các cảnh báo. X = Amean/Rmean Amean = ∑(Ai)/N Rmean = Số lượng trung bình được yêu cầu các bản tin lỗi và sự cố liên quan đến truyền dẫn Ai = Số lượng trung bình các bản tin lỗi và sự cố liên quan đến truyền dẫn trong lần đánh giá thứ i. N = Số lần đánh giá 0<> Càng nhỏ càng tốt. Tuyệt đối Amean = Số đếm Rmean = Số đếm Ai = Số đếm N = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì SQA Lỗi truyền dẫn trung bình trên thời gian Có bao nhiêu bản tin lỗi liên quan đến truyền dẫn xảy ra trong một khoảng thời gian xác định và sử dụng tài nguyên xác định? Điều chỉnh các điều kiện kiểm tra. Giả lập điều kiện hệ thống đạt được trạng thái tải truyền dẫn lớn nhất. Thực hiện ứng dụng và ghi lại số lỗi do sự cố truyền dẫn và các cảnh báo. X = A/T A = Số lượng bản tin cảnh báo hay sự cố hệ thống T = Thời gian vận hành người sử dụng trong quá trình quan sát. 0<> Càng nhỏ càng tốt. Tỷ lệ A = Số đếm T = Thời gian X = Số đếm/Thời gian Báo cáo kiểm tra Báo cáo vận hành biểu hiện thời gian trôi qua 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì SQA Sử dụng dung lượng truyền dẫn Hệ thống phần mềm có khả năng thực hiện các nhiệm vụ trong phạm vi dung lượng truyền dẫn mong đợi được không? Thực hiện đồng thời các nhiệm vụ với nhiều người sử dụng, quan sát dung lượng truyền dẫn và so sánh giá trị. X = A/B A = dung lượng truyền dẫn B = dung lượng truyền dẫn xác định được thiết kế để phần mềm sử dụng thực hiện công việc CHÚ THÍCH: Khuyến nghị nên đo giá trị động lớn nhất với nhiều người sử dụng. 0<><> Nhỏ hơn và càng gần 1.0 thì càng tốt. Tuyệt đối A = Kích thước B = Kích cỡ X = Kích cỡ/ Kích cỡ Báo cáo kiểm tra Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì SQA 7.4.3. Các phép đánh giá tuân thủ của t í nh hiệu quả Phép đánh giá tuân thủ của tính hiệu quả ngoài phải có khả năng đo các thuộc tính như số lượng các chức năng cùng với, hoặc xuất hiện các vấn đề tuân thủ, mà sản phẩm phần mềm không tôn trọng triệt để các tiêu chuẩn, quy ước hay quy định li ê n quan tới tính hiệu quả. B ả ng 157 - Bảng các phép đánh giá tuân thủ của tính hiệu quả Các phép đánh giá sự tuân thủ của tính hiệu quả ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tuân thủ của tính hiệu quả Tính hiệu quả của sản phẩm tuân thủ các quy định, tiêu chuẩn, và thỏa thuận có khả năng áp dụng như thế nào? Đếm số thành phần yêu cầu tuân thủ đã được đáp ứng và so sánh với tổng số thành phần yêu cầu phải tuân thủ trong đặc tả X = 1 - A/B (X: tỷ lệ thành phần thỏa mãn tuân thủ liên quan đến tính hiệu quả) A = Số lượng thành phần tuân thủ tính hiệu quả được xác định mà không được triển khai trong quá trình kiểm tra B = Tổng số thành phần tuân thủ tính hiệu quả được xác định. CHÚ THÍCH: Có thể sẽ thuận lợi hơn nếu thu thập nhiều giá trị đo trong khoảng thời gian dài, phân tích xu hướng làm tăng số lượng thành phần tuân thủ của tính hiệu quả và xác định chúng có thỏa mãn hoàn toàn hay không. 0<><> Càng gần đến 1.0 thì càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, thỏa thuận, quy định liên quan Đặc tính và báo cáo kiểm tra 5.3 Kiểm tra chất lượng 6.5 Xác nhận Nhà cung cấp Người sử dụng 7.5. Các phép đánh giá khả năng bảo trì Phép đánh giá khả năng b ả o trì ngoài phải có khả năng đo các thuộc tính như hoạt động của người bảo trì, người sử dụng, hoặc hệ thống chứa phần mềm, khi phần mềm được bảo trì ho ặ c thay đổi trong quá trình kiểm tra hoặc bảo trì. 7.5.1. Các phép đánh giá khả năng phân tích Phép đánh giá khả năng phân tích ngoài phải có khả năng đo các thuộc tính cố gắng của người bảo trì hay người sử dụng hay tiêu tốn tài nguyên khi cố gắng chẩn đoán thiếu sót hoặc nguyên nhân của sự cố, hoặc xác định các phần bị thay đ ổ i. Bảng 18 - Bảng các phép đánh giá khả năng phân tích Các phép đánh giá khả năng phân tích ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Khả năng theo dõi kiểm tra Người sử dụng có thể nhận biết vận hành cụ thể nào gây ra sự cố không? Người bảo trì có thể dễ dàng tìm vận hành cụ thể nào gây ra sự cố không? Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng xử lý sự cố X = A/B A = Số lượng dữ liệu thực tế được ghi trong quá trình vận hành. B = Số lượng dữ liệu dự kiến được ghi đủ để giám sát trạng thái phần mềm trong quá trình vận hành 0<><> Càng gần 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành Hỗ trợ chức năng chẩn đoán Các chức năng chẩn đoán hỗ trợ phân tích nguyên nhân có khả năng đến đâu? Người sử dụng có thể nhận biết vận hành cụ thể nào gây ra sự cố không? (Người sử dụng có thể có khả năng tránh rơi vào sự cố giống như vậy với vận hành khác) Người bảo trì có thể dễ dàng tìm nguyên nhân sự cố hay không? Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng xử lý sự cố sử dụng các chức năng chẩn đoán X = A/B A = Số sự cố người bảo trì có thể chẩn đoán (sử dụng chức năng chẩn đoán) để hiểu mối quan hệ nguyên nhân - kết quả B = Tổ số sự cố ghi được 0<><> Càng gần 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành Khả năng phân tích lỗi Người sử dụng có thể nhận biết vận hành cụ thể nào gây ra sự cố không? Người bảo trì có thể dễ dàng tìm ra nguyên nhân sự cố không? Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng xử lý sự cố X = 1 - A/B A = Số sự cố nguyên nhân còn chưa tìm được B = Tổng số sự cố ghi được 0<><> Càng xấp xỉ bằng 1 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì Người vận hành Hiệu quả phân tích sự cố Người sử dụng có thể phân tích hiệu quả nguyên nhân sự cố không? (Người sử dụng thỉnh thoảng thực hiện bảo trì bằng cách thiết lập các thông số) Người bảo trì có thể dễ dàng tìm ra nguyên nhân sự cố không? Việc phân tích nguyên nhân sự cố dễ dàng đến mức nào? Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng xử lý sự cố X = Sum(T)/N T = Tout - Tin Tout = Thời điểm các nguyên nhân sự cố được phát hiện (hoặc được thông báo cho người sử dụng) Tin = Thời điểm nhận được thông báo lỗi N = Số lỗi ghi được 0<> Càng nhỏ càng tốt. Tỷ số T = Thời gian Tin Tout = Thời gian N = Số đếm X = Thời gian/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành CHÚ THÍCH: 1. Khuy ế n nghị đo thời gian lớn nhất trong trường hợp xấu nhất và k hoảng thời gian (b ă ng thông) biểu diễn độ lệch. 2 . Khuyến nghị loại trừ số sự c ố nguyên nhân còn chưa được tìm ra khi thực hiện đo. Tuy nhiên, tỷ lệ các sự cố không rõ như vậy cũng phải được đo và đưa ra cùng nhau. 3. Từ quan đi ể m của người sử dụng cá nhân, thời gian được quan tâm, trong khi đó sự nỗ lực cũng có thể l à mối quan tâm t ừ quan điểm của người bảo tr ì. Do đ ó , ngư ời -gi ờ có thể được sử dụng thay thế cho thời gian. Khả năng giám sát trạng thái Người sử dụng có thể nhận biết vận hành cụ thể gây ra sự cố thông qua dữ liệu giám sát trong quá trình vận hành không? Người bảo trì có thể dễ dàng tìm ra nguyên nhân sự cố thông qua dữ liệu giám sát trong quá trình vận hành không? Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng lấy thông tin giám sát ghi trạng thái phần mềm trong quá trình vận hành. X = 1 - A/B A = Số trường hợp người bảo trì (hoặc người sử dụng) không lấy được dữ liệu giám sát B = Số lượng trường hợp mà người bảo trì (người sử dụng) cố gắng lấy dữ liệu giám sát ghi trạng thái phần mềm trong quá trình vận hành 0<><> Càng gần bằng 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người phát triển Người bảo trì Người vận hành 7.5.2 . Các phép đánh giá khả năng thay đổi đ ược Phép đánh giá khả năng thay đổi được ngoài phải có khả năng đo các thuộc tính như sự cố gắng của người bảo trì hay người sử dụng bằng cách đo hoạt động của người bảo trì, người sử dụng, hay hệ thống chứa phần mềm khi thử triển khai thay đổi xác định. Bảng 169 - Bảng các phép đánh giá khả năng thay đổi đ ượ c Các phép đánh giá khả năng thay đổi được ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tính hiệu quả chu trình thay đổi Vấn đề của người sử dụng có thể được giải quyết thỏa đáng trong khoảng thời gian hợp lý không? Giám sát tương tác giữa người sử dụng và nhà cung cấp. Ghi lại thời gian từ khi người sử dụng bắt đầu yêu cầu đến khi vấn đề được giải quyết. Thời gian trung bình: Tav = Sum(Tu)/N Tu = Trc - Tsn Tsn = Thời điểm người sử dụng hoàn thành gửi yêu cầu để bảo trì cho nhà cung cấp cùng báo cáo vấn đề Trc = Thời điểm người sử dụng nhận được phiên bản sửa lại (hay báo cáo trạng thái) N = Số phiên bản 0<> Càng nhỏ càng tốt, trừ phi số phiên bản sửa lại lớn. Tỷ lệ Tu = Thời gian Trc, Tsn = Thời gian N = Số đếm Tav = Thời gian Báo cáo giải quyết vấn đề Báo cáo bảo trì Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì Người vận hành Thời gian triển khai thay đổi phần mềm Liệu người bảo trì có thể dễ dàng thay đổi phần mềm để giải quyết sự cố không? Quan sát thái độ của người sử dụng và người bảo trì khi cố gắng thay đổi phần mềm. Nếu không xem xét báo cáo giải quyết vấn đề hay báo cáo bảo trì Thời gian trung bình: Tav = Sum(Tm)/N Tm = Tout - Tin Tout = Thời điểm nguyên nhân sự cố được gỡ bỏ bằng cách thay đổi phần mềm (hoặc trạng thái được báo cáo cho người sử dụng) Tin = Thời điểm nguyên nhân sự cố được phát hiện N = Số sự cố được ghi lại và được gỡ bỏ 0<> Càng nhỏ càng tốt, trừ phi số sự cố lớn. Tỷ lệ Tm = Thời gian Tin, Tout = Thời gian Tav = Thời gian Báo cáo giải quyết vấn đề Báo cáo bảo trì Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì Người vận hành CHÚ THÍCH : 1. Khuyến nghị đo thời gian lớn nhất trong trường hợp x ấ u nhất v à khoảng thời gian (băng thông) biểu diễn độ lệch. 2. Khuyến ngh ị loại trừ số sự cố nguyên nhân c ò n chưa được t ì m ra khi thực hiện đo. Tuy nhiên, tỷ lệ các sự cố kh ông rõ như vậy cũng phải được đo và đưa ra cùng nhau. 3. Từ quan đi ể m của người sử dụng cá nh â n, thời gian được quan tâm , trong khi đó sự nỗ lực cũng c ó th ể là m ố i quan tâm từ quan đi ể m của người bảo trì. Do đó, người-giờ có thể được sử dụng thay thế cho thời gian. Tính phức tạp của quá trình sửa đổi Người bảo trì có thể dễ dàng thay đổi phần mềm để giải quyết vấn đề không? Quan sát thái độ người bảo trì trong đang cố gắng thay đổi phần mềm. Nếu không xem xét báo cáo giải quyết lỗi hay báo cáo bảo trì và mô tả sản phẩm T = Sum(AB)/N A = Thời gian làm việc để thay đổi B = Khối lượng thay đổi phần mềm N = Số lượng các thay đổi CHÚ THÍCH: Kích cỡ thay đổi của phần mềm có thể được thay đổi dựa trên câu lệnh thực hiện của mã chương trình, số lượng thành phần thay đổi của đặc tả yêu cầu, hay số trang thay đổi của tài liệu… 0<> Càng nhỏ càng tốt, hay số lượng yêu cầu thay đổi quá nhiều. Tỷ lệ A = Thời gian B = Kích thước N = Số đếm T = Thời gian Báo cáo giải quyết vấn đề Báo cáo bảo trì Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì Người vận hành Khả năng thay đổi tham số Người sử dụng hay người bảo trì có thể dễ dàng thay đổi tham số để thay đổi phần mềm và giải quyết vấn đề không? Quan sát thái độ của người sử dụng hoặc người bảo trì khi cố gắng thay đổi phần mềm. Nếu không xem xét báo cáo giải quyết vấn đề hay báo cáo bảo trì X = 1 - A/B A = Số trường hợp người bảo trì thất bại khi thay đổi phần mềm bằng cách sử dụng tham số B = Số trường hợp người bảo trì cố gắng thay đổi phần mềm bằng cách sử dụng tham số 0<><> Càng gần đến 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Hướng dẫn sử dụng hoặc đặc tả Báo cáo giải quyết vấn đề Báo cáo bảo trì Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì Người vận hành Khả năng quản lý thay đổi phần mềm Người sử dụng có thể dễ dàng nhận biết phiên bản sửa lại không? Người bảo trì có thể dễ dàng thay đổi phần mềm để giải quyết vấn đề không? Quan sát thái độ người sử dụng hoặc người bảo trì đang cố gắng thay đổi phần mềm. Nếu không xem xét báo cáo giải quyết vấn đề hay báo cáo bảo trì X = A/B A = Số lượng dữ liệu thay đổi được ghi lại thực tế B = Số lượng dữ liệu thay đổi dự kiến được ghi vừa đủ để dò tìm thay đổi phần mềm. 0<><> Càng gần đến một càng tốt hay gần đến 0 càng thay đổi ít Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Hướng dẫn sử dụng hoặc đặc tả Báo cáo giải quyết vấn đề Báo cáo bảo trì Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì Người vận hành 7.5.3. Các phép đánh giá tính ổn định Phép đánh giá tính ổn định ngoài phải có khả năng đo các thuộc tính liên quan đến hoạt động không mong đợi của hệ thống chứa phần mềm khi phần mềm được kiểm tra hoặc vận hành sau khi thay đổi. Bảng 20 - Bảng các phép đánh giá t í nh ổn định Các phép đánh giá tính ổn định ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tỷ lệ thay đổi thành công Người sử dụng có thể vận hành hệ thống phần mềm không sự cố sau khi được bảo trì không? Người bảo trì có thể dễ dàng giảm sự cố gây ra bởi tác động của việc bảo trì không? Quan sát thái độ của người sử dụng hay người bảo trì đang vận hành hệ thống phần mềm sau bảo trì. Đếm số lượng sự cố mà người sử dụng hay người bảo trì gặp phải khi vận hành phần mềm trước và sau khi bảo trì Nếu không xem xét báo cáo giải quyết sự cố, báo cáo vận hành hay báo cáo bảo trì X = Na/Ta Y{(Na/Ta)/(Nb/Tb)} Na = Số trường hợp người sử dụng gặp sự cố sau trong vận hành sau khi phần mềm được thay đổi Nb = Số trường hợp người sử dụng gặp sự cố trong vận hành trước khi phần mềm được thay đổi Ta = Thời gian vận hành trong khoảng thời gian quan sát xác định sau khi phần mềm được thay đổi. Tb = Thời gian vận hành trong khoảng thời gian quan sát xác định trước khi phần mềm được thay đổi. 0<> Càng nhỏ và càng gần đến 0 càng tốt. Tỷ lệ Na,Nb = Số đếm Ta,Tb = Thời gian X = Số đếm/Thời gian Y=[(Số đếm/Thời gian/(Số đếm/Thời gian)] Báo cáo giải quyết vấn đề Báo cáo bảo trì Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì Người vận hành CHÚ THÍCH: 1. X và Y c ó ngh ĩ a “t ầ n suất gặp sự cố sau k hi thay đổi" và " tần suất dao động các sự cố gặp phải trước/ sau khi thay đổi". 2. Người sử dụng có thể cần khoảng thời gian nhất định để xác định t ác động của các thay đổi phần mềm, khi nâng c ấ p phần mềm được đưa ra đề giải quyết các v ấ n đề. 3 . Khuyến nghị so sánh tần suất n à y trước và sau khi thay đổi. 4. Nếu các chức năng thay đổi được nhận biết, khuyến nghị xác định các sự cố gặp phải được phát hiện trong chức năng thay đổ i hay t rong các chức năng khác . Mức đ ộ ảnh hưởng có thể được ch ấ m điểm cho mỗi sự c ố. Xác định ảnh hưởng của thay đổi (Sự cố nảy sinh sau khi thay đổi) Người sử dụng có thể vận hành hệ thống phần mềm không sự cố sau khi được bảo trì không? Người bảo trì có thể dễ dàng giảm sự cố gây ra bởi tác động của việc bảo trì không? Đếm sự cố xảy ra sau khi thay đổi, chúng móc xích lẫn nhau và ảnh hưởng bởi thay đổi. X = A/N A = Số sự cố nảy sinh sau khi sự cố được giải quyết bằng thay đổi trong một thời gian nhất định N = Số sự cố được giải quyết 0<> Càng nhỏ, càng gần đến 0 càng tốt. Tuyệt đối A = Số đếm N = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì Người vận hành CHÚ TH í CH: X c ó nghĩa là “sự cố chuỗi nảy sinh tr ê n sự cố được giải quyết”. Khuyến nghị thực hiện phép đo ch í nh xác bằng cách ki ể m tra nguyên nhân sự cố hiện thời thuộc về thay đổi cho giải quyết sự cố trước hay không . 7.5.4. Các phép đánh giá khả năng kiểm tra Phép đánh giá khả năng kiểm tra ngoài phải có khả năng đo các thuộc tính như sự cố gắng của người bảo trì hay người sử dụng bằng cách đo hoạt động của người bảo trì, người sử dụng, hay hệ thống chứa phần mềm khi thử kiểm tra phần mềm đã thay đổi hay chưa thay đổi. Bảng 171 - Bảng các phép đánh giá khả năng kiểm tra Các phép đánh giá khả năng kiểm tra ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tính sẵn sàng của chức năng kiểm tra có sẵn sàng trong phần mềm Liệu người sử dụng và người bảo trì có thể dễ dàng thực hiện kiểm tra vận hành mà không cần chuẩn bị thêm phương tiện kiểm tra không? Quan sát thái độ của người sử dụng hay người bảo trì kiểm tra hệ thống phần mềm sau khi bảo trì. X = A/B A = Số trường hợp người bảo trì có thể sử dụng chức năng kiểm tra phù hợp có sẵn B = Số trường hợp thực hiện kiểm tra 0<><> Càng lớn, càng gần 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì Người vận hành CHÚ THÍCH: V í dụ của chức năng ki ể m tra có sẵn bao gồm chức năng m ô phỏng, chức năng kiểm tra trước khi sử d ụng,... Tính hiệu quả khi kiểm tra lại Liệu người sử dụng và người bảo trì có thể dễ dàng kiểm tra vận hành và xác định phần mềm đã sẵn sàng hoạt động hay không? Quan sát thái độ của người sử dụng hay người bảo trì kiểm tra hệ thống phần mềm sau khi bảo trì. X = Sum(T)/N T = Thời gian cần thiết để kiểm tra chắc chắn rằng sự cố được báo cáo đã được giải quyết hay chưa N = Số sự cố được giải quyết 0<> Càng nhỏ, càng tốt Tỷ lệ T = Thời gian N = Số đếm X = Thời gian/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì Người vận hành CH Ú THÍCH: X có ngh ĩ a “thời gian trung bình kiểm tra sau khi giải quyết sự cố". Nếu các sự c ố chưa được gi ả i quyết hay sửa , l o ại trừ chúng và đo t ỷ lệ các l ỗ i này riêng. Khả năng khởi tạo lại việc kiểm tra Người sử dụng và người bảo trì có thể dễ dàng thực hiện kiểm tra vận hành với các điểm kiểm tra sau khi bảo trì không? Quan sát thái độ của người sử dụng hay người bảo trì kiểm tra hệ thống phần mềm sau bảo trì. X = A/B A = Số trường hợp người bảo trì có thể tạm dừng và khởi tạo lại quá trình kiểm tra đang thực hiện tại một số điểm mong muốn để kiểm tra lần lượt từng bước một. B = Số trường hợp tạm dừng quá trình kiểm tra 0<><> Càng lớn và càng gần 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người sử dụng Người bảo trì Người vận hành 7.5.5. Các phép đánh giá tuân thủ của khả năng bảo trì Phép đánh giá tuân thủ của khả năng bảo trì ngoài phải có khả năng đo thuộc tính như số lượng chức năng hay xuất hiện các vấn đề tuân thủ, mà phần mềm không tôn trọng triệt để các tiêu chuẩn, quy ước, quy định được yêu cầu liên quan đến khả năng bảo trì. Bảng 182 - Bảng các phép đánh giá tuân thủ của khả năng bảo trì Các phép đánh giá tính tuân thủ của khả năng bảo trì Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tuân thủ khả năng bảo trì Khả năng bảo trì của sản phẩm tuân thủ các quy định, tiêu chuẩn, thỏa thuận áp dụng như thế nào? Đếm số thành phần yêu cầu tuân thủ đáp ứng được, và so sánh với tổng số thành phần yêu cầu tuân thủ trong đặc tả X = 1 - A/B A = Số lượng thành phần tuân thủ của khả năng bảo trì được xác định mà không được triển khai trong quá trình kiểm tra B = Tổng số thành phần cần tuân thủ khả năng bảo trì được xác định. 0<><> Càng gần 1.0 thì càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, thỏa thuận, hay quy định liên quan Đặc tính và báo cáo kiểm tra 5.3 Kiểm tra chất lượng 6.5 Xác nhận Người cung cấp Người sử dụng CHÚ THÍCH: Sẽ hữu ích nếu thu thập nhiều giá trị đo trong khoảng thời gian dài, phân tích xu hướng tăng thành phần tuân th ủ được thỏa mãn và xác định nó có thỏa mãn hoàn toàn không. 7.6. Các phép đánh giá tính khả chuyển Phép đánh giá tính khả chuyển ngoài phải có khả năng đo các thuộc tính như hoạt động của người vận hành hay hệ thống trong phạm vi các hoạt động chuyển đổi. 7.6.1 . Khả năng tương thích Ph é p đánh giá khả năng tương thích ngoài phải có khả năng đo các thuộc tính như hoạt động của hệ thống hay người sử dụng đang thử tương hợp phần mềm với các môi trường xác định khác nhau. Khi người sử dụng phải áp dụng các thủ tục tương hợp khác với các thủ tục cung cấp bởi phần mềm trước kia cho các nhu cầu tương hợp cụ th ể , nỗ lực của người sử dụng được yêu cầu cho quá trình tương hợp phải được đo. Bảng 193 - Bảng các phép đánh giá khả năng tương thích Các phép đánh giá khả năng tương thích ngoài Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Khả năng tương thích của cấu trúc dữ liệu Người sử dụng hoặc người bảo trì có thể dễ dàng tương hợp phần mềm với tập dữ liệu trong môi trường mới không? Quan sát thái độ người sử dụng hoặc người bảo trì khi cố gắng tương hợp phần mềm với môi trường hoạt động mới X = A/B A = Số lượng dữ liệu có khả năng vận hành nhưng không được nhận biết do vận hành không đầy đủ gây ra bởi các hạn chế trong quá trình tương hợp B = Số lượng dữ liệu được mong đợi có khả năng vận hành trong môi trường tương hợp với phần mềm 0<><> Càng lớn và càng gần bằng 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành CHÚ THÍCH: Các dữ liệu n à y chủ yếu bao gồm nhiều d ạ ng dữ liệu như các tệp dữ l iệ u, bộ dữ liệu hoặc các cơ sở d ữ liệu được tương hợp với các khối lượng dữ liệu, th à nh phần dữ liệu hoặc c ấ u trúc dữ liệu kh á c nhau. A và B ở công thức tr ê n cần được đếm với cùng một dạng dữ liệu. Sự tương thích nh ư vậy có th ể được yêu cầu khi , ví dụ, phạm v i côn g việc được mở rộng. Khả năng tương thích môi trường phần cứng (Khả năng tương thích với các thiết bị phần cứng và thiết bị mạng) Người sử dụng hoặc người bảo trì có thể dễ dàng tương hợp phần mềm với môi trường không? Hệ thống phần mềm có đủ khả năng tự tương thích với môi trường hoạt động? Quan sát thái độ của người sử dụng hoặc người bảo trì khi cố gắng tương hợp phần mềm với môi trường hoạt động X = 1 - A/B A = Số lượng chức năng vận hành các nhiệm vụ của chúng không được hoàn thành hoặc không đạt được kết quả đáp ứng mức độ thỏa đáng trong quá trình kiểm tra vận hành với môi trường công việc người sử dụng B = Tổng số các chức năng được kiểm tra. 0<><> Càng lớn càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành CHÚ THÍCH: Khuyến nghị ti ế n h à nh ki ể m tra phối hợp quá tải với các c ấ u h ì nh môi trường phần cứng c ó khả năng phối hợp hoạt động trong môi trường nhiều người sử dụng. Khả năng tương thích với môi trường của tổ chức (Khả năng tương thích của tổ chức với hạ tầng của tổ chức) Người sử dụng hoặc người bảo trì có thể dễ dàng tương hợp phần mềm với môi trường ? Hệ thống phần mềm có đủ khả năng tự tương thích với môi trường hoạt động? Quan sát thái độ của người sử dụng hoặc người bảo trì khi cố gắng tương hợp phần mềm với môi trường hoạt động X = 1 - A/B A = Số lượng chức năng vận hành các nhiệm vụ của chúng không được hoàn thành hoặc không đạt được kết quả đáp ứng mức độ thỏa đáng trong quá trình kiểm tra vận hành với môi trường công việc người sử dụng B = Tổng số các chức năng được kiểm tra. 0<><> Càng lớn càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành CHÚ THÍCH : 1 . Khuyến nghị ti ế n hành ki ể m tra có tính đến nhiều dạng k ế t hợp các th à nh phần hạ tầng trong môi trường công việc có thể có của người sử dụng . 2. "Khả năng tương th í ch m ôi trường t ổ chức" liên quan tới m ô i trường hoạt động kinh doanh của tổ chức người sử dụng " Kh ả n ă ng tương t hích m ô i trư ờ ng hệ thống phần mềm" liên quan tới môi trường hoạt động kỹ thuật c ủa hệ thống . Do vậy, ở đây có sự phân biệt r õ r à ng . Tính thân thiện với người sử dụng Người sử dụng hoặc người bảo trì có thể dễ dàng tương hợp phần mềm với môi trường? Quan sát thái độ người sử dụng hoặc người bảo trì khi cố gắng tương hợp phần mềm với môi trường hoạt động T = Tổng thời gian vận hành người sử dụng để hoàn thành tương thích phần mềm với môi trường người sử dụng khi họ cài đặt hoặc thay đổi cài đặt CHÚ THÍCH: T có nghĩa "người sử dụng yêu cầu tương hợp với môi trường người sử dụng". Người-giờ có thể được sử dụng thay cho thời gian. 0<> Càng nhỏ càng tốt. Tỷ số T = Thời gian Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành Khả năng tương thích với môi trường phần mềm hệ thống (Khả năng tương thích với hệ điều hành, phần mềm mạng và phần mềm ứng dụng liên kết) Người sử dụng hoặc người bảo trì có thể dễ dàng tương hợp phần mềm với môi trường ? Hệ thống phần mềm có đủ khả năng tự tương thích với môi trường hoạt động? Quan sát thái độ của người sử dụng hoặc người bảo trì khi cố gắng tương hợp phần mềm với môi trường hoạt động X = 1 - A/B A = Số lượng chức năng vận hành có các nhiệm vụ không được hoàn thành hoặc không đạt được kết quả đáp ứng mức thỏa đáng trong quá trình kiểm tra vận hành phối hợp với phần mềm hệ thống điều hành hoặc phần mềm ứng dụng hiện thời. B = Tổng số các chức năng được kiểm tra. 0<><> Càng lớn càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành CHÚ THÍCH: 1. Khuyến nghị tiến h à nh kiểm tra phối hợp quá t ả i với phần mềm hệ thống điều hành hoặc phần mềm ứng dụng hiện thời, chúng có thể phối hợp hoạt động trong nhiều môi trường người sử dụng. 2. “Kh ả năng tương thích môi trường t ổ chức " li ê n quan tới môi trường hoạt đ ộng kinh doanh của tổ chức người sử dụng. “Kh ả năng t ương thích m ô i trường phần mềm hệ thống" li ê n quan t ớ i m ô i trường hoạt động kỹ thuật trong hệ th ố ng. Do vậy, ở đây có sự ph â n biệt r õ ràng . 7.6.2. Các phép đánh giá khả năng cài đ ặt phần mềm Phép đánh giá khả năng cài đặt ngo à i phải có khả năng đo các thuộc tính như hoạt động của hệ thống hoặc người sử dụng đang thử cài đặt phần mềm trong môi trường cụ thể người sử dụng. Bảng 204 - Bảng các phép đánh giá khả năng cài đặt phần mềm Các phép đánh giá khả năng cài đặt phần mềm Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Dễ dàng cài đặt Người sử dụng hay người vận hành có thể dễ dàng cài đặt phần mềm trong môi trường hoạt động không? Quan sát thái độ của người sử dụng hay người bảo trì khi cố gắng cài đặt phần mềm trong môi trường hoạt động X = A/B A = Số trường hợp người sử dụng thay đổi cài đặt thành công để thuận tiện cho mình B = Tổng số trường hợp người sử dụng cố gắng thay đổi cài đặt để thuận tiện cho mình 0<><> Càng gần 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành CHÚ THÍCH 1 . Phép đánh giá này được đề xu ất như một sử dụng t hực nghiệm 2. Khi phép đánh giá cơ sở thời gian được yêu c ầ u , thời gian cài đặt có thể có khả năng đo được. Dễ dàng thực hiện lại cài đặt Người sử dụng hay người vận hành có thể dễ dàng cài đặt lại phần mềm không? Quan sát thái độ của người sử dụng hay người bảo trì khi thử cài đặt lại phần mềm X = 1 - A/B A = Số trường hợp người sử dụng không cài đặt lại được trong quá trình cài đặt B = Tổng số trường hợp người sử dụng cố gắng cài đặt lại trong quá trình cài đặt 0<><> Càng gần 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành CHÚ THÍCH: Phép đánh giá n à y được đ ề xuất như một sử dụng thực nghiệm CHÚ THÍCH: Các phép đánh giá b ổ sung sau c ó th ể được sử dụng. 1. Cài đặt dễ dà ng Thao tác người sử dụng để c à i đặt X=A A= Số thao t á c người sử dụng cần đ ể cài đặt 0 à ng nhỏ c à ng tốt. 2. D ễ dàng c à i đặt Mức hỗ trợ c à i đặt X=A A được đánh giá với, v í dụ: - Ch ỉ có chương trình thực hiện c à i đặt và không c ầ n bất cứ g ì hơn (tuyệt vời); - H ướ ng d ẫ n c à i đặt ( t ốt); - Mã ng uồn chương trình cần thay đổi đ ể cài đặt (tồi). X = Chuy ể n đổi trực tiếp của giá trị đo 3. Giảm n ỗ lực hoạt động c à i đặt Tỷ lệ giảm thủ tục vận hành cài đặt của người sử dụng X = 1-A/B A = Số thủ tục vận hành cài đặt người sử dụng b ắt buộc phải thực hiện sau khi giảm thủ tục B = S ố thủ tục vận hành cài đặt b ì nh thường 0 <=x=1;> à ng g ầ n 1.0 càng tốt. 4. Dễ d à ng của thao tác cài đặt người sử dụng Mức độ dễ dàng của thao tác c à i đặt người sử dụng X = Điểm m ứ c độ dễ dàng thao tác người sử dụng Ví dụ mức độ dễ như sau: [rất dễ] ch ỉ yêu cầu người sử dụng bắt đ ầ u cài đặt hoặc các chức năng cài đặt và sau đ ó quan sát c à i đặt; [dễ] ch ỉ yêu cầu người sử dụng trả lời câu h ỏ i cài đặt hoặc các chức năng cài đặt; [ không dễ ] yêu cầu người sử dụng tra cứu các tham số từ các bảng hoặc điền vào các ô trống; [phức t ạp ] yêu c ầ u ngư ời sử dụng tìm kiếm các tệp tham số, tra cứu các tham số t ừ các tệp được thay đổi và viết chúng. X = Chuyển đổi trực tiếp của giá trị đo 7.6.3. Các phép đánh giá khả năng cùng tồn tại Phép đánh giá khả năng cùng tồn tại ngoài phải c ó khả năng đo các thuộc tính như hoạt động của hệ thống hay người sử dụng đang thử sử dụng phần mềm cùng với các phần mềm độc lập khác trong môi trường chung chia sẻ các tài nguyên chung. Bảng 215 - Bảng các phép đánh giá khả năng c ù ng tồn tại Các phép đánh giá khả năng cùng tồn tại Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Sẵn sàng cùng tồn tại Người sử dụng có thường xuyên gặp phải các ràng buộc hoặc sự cố không mong muốn khi vận hành đồng thời với phần mềm khác? Sử dụng phần mềm đã được đánh giá đồng thời với các phần mềm khác mà người sử dụng hay dùng X = A/T A = Số ràng buộc hoặc sự cố không mong muốn người sử dụng gặp phải khi vận hành đồng thời với phần mềm khác T = Thời gian vận hành đồng thời với phần mềm khác 0<> Càng gần 0 càng tốt. Tỷ lệ A = Số đếm T = Thời gian X = Số đếm/Thời gian Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành SQA 7.6.4 . Các phép đánh giá khả năng thay th ế Phép đánh giá khả năng thay thế ngo à i phải có khả năng đo các thuộc tính như hoạt động của h ệ thống hay người sử dụng đang thử sử dụng phần mềm thay thế cho phần mềm xác định trong m ô i trường của ph ầ n mềm đó. Bảng 226 - Bảng các phép đánh giá khả năng thay thế Các phép đánh giá khả năng thay thế Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Khả năng tiếp tục sử dụng dữ liệu Người sử dụng hay người vận hành có thể dễ dàng tiếp tục sử dụng cùng dữ liệu sau khi thay thế phần mềm này thay cho phần mềm trước không? Liệu việc thay thế hệ thống phần mềm có thành công không? Quan sát thái độ của người sử dụng hay người bảo trì khi người sử dụng thay thế phần mềm cũ bằng phần mềm mới. X = A/B A = Khối lượng dữ liệu sử dụng trong phần mềm khác sẽ thay thế và được đảm bảo rằng chúng có khả năng được tiếp tục sử dụng lại. B = Khối lượng dữ liệu sử dụng trong phần mềm khác sẽ được thay thế và dự định tiếp tục được sử dụng lại. 0<><> Càng lớn càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành CHÚ THÍCH: Phép đo n à y có th ể được áp dụng cho c ả hai trường hợp thay thế phần mềm hoàn toàn khác và phiên b ả n khác của cùng một chuỗi phần mềm Tính bao hàm của chức năng Người sử dụng hay người vận hành có thể dễ dàng tiếp tục sử dụng chức năng tương tự sau khi thay thế phần mềm không? Liệu việc thay thế phần mềm có thành công không? Quan sát thái độ của người sử dụng hay người bảo trì khi người sử dụng thay thế phần mềm cũ bằng phần mềm mới. X = A/B A = Số chức năng tạo ra kết quả tương tự chức năng cũ và không đòi hỏi bất kỳ sự thay đổi nào. B = Số chức năng được kiểm tra tương tự như các chức năng được cung cấp bởi các phần mềm khác bị thay thế 0<><> Càng lớn càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Báo cáo giải quyết vấn đề Báo cáo vận hành 5.3 Kiểm tra chất lượng 5.4 Vận hành 5.5 Bảo trì Người phát triển Người bảo trì Người vận hành CHÚ THÍCH: Phép đo n à y có th ể được áp dụng cho c ả hai trường hợp thay thế phần mềm hoàn toàn khác và phiên b ả n khác của cùng một chuỗi phần mềm Tính nhất quán của chức năng hỗ trợ người sử dụng Mức độ nhất quán của các thành phần mới với giao diện người sử dụng hiện có như thế nào? Quan sát thái độ của người sử dụng và tham khảo ý kiến X = 1 - A/A2 A = Số lượng chức năng mới mà người sử dụng thấy mức độ nhất quán không thỏa đáng với mong muốn B = Số lượng chức năng mới 0<> Càng lớn càng tốt. Tuyệt đối A1 = Số đếm A2 = Số đếm X = Số đếm/Số đếm Báo cáo kiểm tra Báo cáo vận hành 5.3 Tích hợp 5.3 Kiểm tra chất lượng 5.4 Vận hành 6.5 Đảm bảo chất lượng Người sử dụng Người thiết kế giao diện người sử dụng Người vận hành Người phát triển Người kiểm tra SQA CHÚ THÍCH: 1. Trường hợp phần mềm kh á c được đưa ra thay t hế phần mềm cũ, phần mềm mới có thể được ch ỉ định như phiên bản hiện thời. 2. Trong trường hợp mẫu tương tác được thay đổi để cải tiến giao diện người sử dụng trong phi ê n b ả n mới, đề xu ấ t quan s á t thái độ người sử dụng và đ ế m số trường hợp người sử dụng truy c ậ p chức năng th ấ t bại do nguyên nhân không phù hợp với mong muốn của người sử dụng xu ấ t ph á t từ phi ê n bản cũ. 7.6.5. Các phép đánh giá tuân thủ của tính khả chuyển Phép đánh g i á tuân thủ của tính khả chuyển ngoài phải c ó khả năng đo các thuộc tính như số lượng chức năng cùng với, hoặc xuất hiện các vấn đề tuân thủ, mà sản phẩm phần mềm không tôn trọng triệt để các tiêu chuẩn, quy ước, quy định được yêu cầu liên quan đến tính khả chuyển. Bảng 237 - Bảng các phép đánh giá tuân thủ của tính khả chuy ể n Các phép đánh giá tuân thủ tính khả chuyển Tên phép đánh giá Mục đích của phép đánh giá Phương pháp áp dụng Phép đo, công thức và tính toán các thành phần dữ liệu Chuyển đổi giá trị đo Loại thang đánh giá Loại phép đo Đầu vào cho phép đo Tham chiếu ISO/IEC 12207 SLCP Đối tượng sử dụng Tuân thủ của tính khả chuyển Tính khả chuyển của sản phẩm tuân thủ các quy định, tiêu chuẩn, thỏa thuận đang áp dụng như thế nào? Đếm số thành phần yêu cầu tuân thủ đã được đáp ứng, so sánh với tổng số thành phần yêu cầu tuân thủ từ đặc tả X = 1 - A/B A = Số lượng thành phần tuân thủ tính khả chuyển được xác định không được triển khai trong quá trình kiểm tra. B = Tổng số thành phần tuân thủ tính khả chuyển xác định 0<><> Càng gần đến 1.0 càng tốt. Tuyệt đối A = Số đếm B = Số đếm X = Số đếm/Số đếm Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, thỏa thuận, quy định liên quan Đặc tả kiểm tra và báo cáo Báo cáo vận hành 5.3 Kiểm tra chất lượng 6.5 Đảm bảo chất lượng Nhà cung cấp Người sử dụng CHÚ THÍCH: Có thể sẽ hữu ích nếu thu thậ p nhi ề u giá trị đo t rong khoảng thời gian, phân tích xu hướng t ă ng các th à nh phần t uân thủ thỏa m ã n , v à xác định chúng có hoàn toàn thỏa mãn không . PHỤ LỤC A (Tham khảo) CÁC VẤN ĐỀ CẦN QUAN TÂM KHI SỬ DỤNG CÁC PHÉP ĐÁNH GIÁ A.1 . Làm sáng t ỏ các phép đánh giá A.1.1 . Sự khác nhau ti ề m năng g iữ a kiểm tra và ngữ cảnh hoạt động sử dụng Khi l ậ p kế hoạch sử dụng các phép đánh giá hoặc làm sáng tỏ các phép đánh giá, đi ề u quan trọng l à phải hiểu rõ ngữ cảnh mục tiêu của việc sử dụng sản phẩm phần mềm, và bất kỳ sự khác nhau tiềm năng nào giữa kiểm tra và ngữ cảnh hoạt động sử dụng. Ví dụ như hệ đ o “thời gian yêu cầu để học vận h à nh” thường l à khác nhau giữa những người vận hành có kỹ năng và những người vận hành chưa có kỹ năng trên cùng hệ thống phần mềm. Ví dụ về sự khác biệt tiềm năng này được trình bày ở phần dưới. a) Các khác nhau giữa môi trường kiểm tra và môi trường hoạt động Có bất kỳ sự khác nhau đáng kể nào giữa môi trường kiểm tra và thực hiện khai thác trong môi trường người sử dụng? Sau đây l à c ác ví dụ: • Kiểm tra với hiệu năng cao hơn/ có thể so sánh/ thấp hơn của CPU của máy tính vận hành; • Kiểm tra với hiệu năng cao hơn/ có thể so sánh/ th ấ p hơn của mạng vận hành và truyền thông; • Kiểm tra với hiệu năng cao hơn/ có thể so sánh/ thấp hơn của hệ điều hành đang hoạt động; • Kiểm tra với hiệu năng cao hơn/ có thể so sánh/ thấp hơn của giao diện người sử dụng. b) Các khác nhau giữa thực hiện kiểm tra và thực hiện vận hành thực t ế Có bất kỳ sự khác nhau đáng kể nào giữa thực hiện kiểm tra và thực hiện vận hành trong môi trường người sử dụng? Sau đây là các ví dụ: • Bao h à m chức n ăn g trong môi trường kiểm tra; • Tỷ lệ lấy m ẫu trường hợp kiểm tra; • Kiểm tra tự động của các giao dịch thời gian thực; • Tải ứng suất; • Hoạt động 24 giờ 7 ngày trên tuần (liên tục không dừng); • T í nh thích hợp của dữ liệu cho quá trình kiểm tra của các trường hợp ngoại lệ và lỗi; • Xử lý theo chu kỳ; • Sử dụng tài nguyên; • Các mức gián đoạn; • Áp lực sản xuất; • Sự đứt quãng. c) Theo dõi hiện trạng người sử dụng Có sự khác nhau đáng kể nào giữa hiện trạng người sử dụng khi kiểm tra và người sử dụng khi vận hành? Sau đây là các v í dụ: - Pha trộn giữa các loại người sử dụng; - Các mức kỹ năng người sử dụng; - Người sử dụng thông thạo và người sử dụng có kỹ năng trung bình; - Nhóm người sử dụng hạn chế hay người sử dụng công cộng. A.1.2 . Các vấn đ ề ảnh hư ở ng tới t í nh xác thực của các k ế t quả Các vấn đề sau có thể ảnh hưởng tới t í nh xác thực của dữ liệu được thu thập. (a) Các thủ tục thu thập kết quả đánh giá Thu thập một cách tự động bằng các công cụ hoặc các thiết bị/ th u thập nhân công/ b ằ ng các c â u hỏi hoặc phỏng vấn; (b) Nguồn của các kết quả đánh giá Các báo cáo của ch í nh ngư ờ i phát triển/ báo cáo của người kiểm tra/ hoặc báo cáo của người đánh giá; (c) Sự xác nhận dữ liệu k ế t quả Tự kiểm tra của chính người phát triển/ thanh tra bằng những người đánh giá độc lập. A.1.3 . Sự cân b ằ ng của các tài nguyên đo kiểm Sự cân bằng của các phép đo sử dụng tại mỗi giai đoạn có phù hợp với mục đích đánh giá? Quan trọng l à phải c â n bằng nguồn lực sử dụng để áp dụng cho một d ả i thích hợp các phép đánh giá cho các phép đánh giá chất lượng trong, chất lượng ngo à i và chất lượng sử dụng. A. 1.4 . Sự ch í nh xác của các đặc tính kỹ thuật Có hay không các khác nhau đáng kể giữa đặc t ả phần mềm và các yêu cầu vận hành thực tế? Các phép đo được thực hiện trong suốt quá trình đánh giá sản phẩm phần mềm ở những giai đoạn khác nhau được so sánh với các đặc tính kỹ thuật của sản phẩm. Do đó, điều quan trọng là phải bảo đảm bằng th ẩ m tra và xác nhận rằng các đặc tả sản phẩm sử dụng cho đánh giá phản ánh các yêu cầu thật sự và thực tế trong vận hành. A. 2 . Xác nhận các phép đánh giá A. 2.1 . Thuộc tính mong muốn cho các phép đánh giá Để thu được các kết quả đúng đắn từ việc đánh giá chất lượng, các phép đánh giá phải có những thuộc tính như dưới đây. Nếu một phép đánh giá không có những thuộc tính này thì mô tả phép đánh giá phải l à m sáng t ỏ r à ng buộc liên quan về tính xác thực của nó và, nếu c ó thể, trạng thái đó được xử lý như thế nào. a) Tính tin cậy (của phép đánh giá): Tính tin cậy gắn kết với lỗi ngẫu nhiên. Một phép đánh giá l à không có lỗi ngẫu nhiên nếu sự thay đổi ngẫu nhiên đó không ả nh hư ở ng tới các kết qu ả của phép đánh giá. b) Khả năng lặp lại (của phép đánh giá): Sử dụng lặp lại phép đánh giá cho cùng sản phẩm sử dụng các đặc tính kỹ thuật đánh giá giống nhau (bao gồm cùng môi trường), loại người sử dụng và môi trường bằng các người đánh giá khác nhau, phải cho kết quả đánh giá giống nhau trong dung sai thích hợp. Dung sai thích hợp phải bao gồm các thành phần như sự mệt mỏi, hiệu ứng t ự học. c) Khả năng tái lập (của phép đánh giá ) : Sử dụng phép đánh giá cho cùng sản phẩm sử dụng các đặc tính kỹ thuật đánh giá giống nhau (bao gồm cùng môi trường), loại người sử dụng và môi trường bằng các người đánh giá khác nhau, phải cho kết quả đánh giá giống nhau trong dung sai thích hợp. CHÚ THÍCH: Khuy ế n nghị r ằ ng sử dụng phân tích thống kê đ ể đo sự thay đổi của các kết quả. d) Tính hiệu dụng (của phép đánh giá): Phép đánh giá phải ch ỉ rõ các điều kiện (ví dụ như sự tồn tại của các thuộc tính xác định) mà nó ràng buộc việc sử dụng phép đánh giá. e) Tính chỉ báo ( của phép đánh giá): Khả năng của phép đánh giá xác định các phần hoặc các mục của phần mềm phải được cải tiến, đưa ra những kết quả đo được so sánh với kết quả mong muốn. CHÚ THÍCH 2: Phép đánh giá được ch ọ n hoặc được đề xuất phải cung cấp dẫn ch ứ ng tài liệu của tính hiệu dụng của phép đánh giá cho việc sử dụng, không giống nh ư ch ỉ yêu cầu thanh tra dự án. f) Độ chính xác (của hệ đo): Phép đánh giá nên có nh ữ ng thuộc tính sau đây: 1) Tính khách quan (của hệ đo): Các kết quả đánh giá và đầu vào dữ liệu của nó phải thực sự: tức là không bị ảnh hưởng bởi cảm giác hoặc các quan điểm của người đánh giá, người sử dụng kiểm tra ... (loại trừ sự thỏa mãn hoặc tính hấp dẫn của phép đánh giá khi c ả m giác và quan điểm người sử dụng được đo). 2) T í nh công bằng (của hệ đo): Phép đo không được bị lệch bất kỳ về phía kết quả riêng đặc thù nào. 3) Độ chính xác đủ (của hệ đo): Độ chính xác được xác định bằng thiết kế của phép đánh giá, và đặc biệt bởi lựa chọn xác định tài liệu sử dụng như cơ sở cho phép đánh giá. Người sử dụng phép đánh giá sẽ mô t ả độ chính xác và độ nhạy của phép đánh giá. g) Ý nghĩa ( của hệ đo): Phép đo phải tạo ra các kết quả có ý nghĩa về các hoạt động của phần mềm hoặc các đặc tính chất lượng. Phép đánh giá cũng phải hiệu quả về chi phí: có nghĩa là các phép đánh giá chi phí đắt hơn phải tạo ra các kết quả giá trị hơn. A. 2.2 . Chứng minh tính xác thực của các phép đánh giá Người sử dụng các phép đánh giá phải chỉ rõ các phương pháp chứng minh tính xác thực của phép đánh giá, như được ch ỉ ra ở dưới đây: (a) Tính tương quan Sự bi ế n đổi trong các giá trị đặc t í nh chất lượng (các hệ đo của các phép đánh giá cơ bản trong sử dụng vận hành) được giải thích bởi sự bi ế n đổi trong các giá trị đánh giá, được đưa ra bằng bình phương hệ số tuyến tính. Người đánh giá có thể dự đo á n các đặc tính chất lượng mà không cần đo trực tiếp bằng cách sử dụng các phép đánh giá tương quan. (b) Sự tự hiệu ch ỉ nh Nếu một phép đánh giá M liên quan trực tiếp tới một giá trị tiêu chí chất lượng Q (các phép đo của các phép đánh giá trong sử dụng vận hành), cho một sản phẩm hoặc quá trình cho trước, th ì thay đổi giá t rị từ Q(T1) tới Q(T2), có thể dẫn đến thay đổi giá trị phép đo từ M(T1) tới M(T2) theo cùng một hướng (v í dụ, nếu Q tăng, M tăng). Người đánh giá có thể phát hiện sự thay đổi đặc t í nh chất lượng theo một chu k ỳ thời gian m à không c ầ n đo trực tiếp bằng cách sử dụng những phép đánh giá có khả năng tự hiệu chỉnh. (c) Tính nhất quán Nếu các giá trị đặc tính chất lượng (các hệ đo của các phép đánh giá trong sử dụng vận hành) Q1, Q2, .... Qn tương ứng với các sản phẩm hoặc quy trình 1, 2, …, n có mối quan hệ Q1>Q2 >...>Qn thì các giá trị phép đánh giá tương ứng có thể có mối quan hệ M1 > M2 >...> Mn. Người đánh giá có thể lưu ý những ngoại lệ và những thành phần hay lỗi của phần m ề m bằng cách sử dụng nh ữ ng phép đánh giá có khả năng nhất quán. (d) Tính có thể dự báo Nếu một phép đánh giá được sử dụng ở thời gian T1 để dự báo giá trị đặc tính chất lượng Q (các phép đo của các phép đánh giá trong sử dụng vận hành) tại thời điểm T2, thì lỗi dự báo {(dự báo Q(T2) - thực tế Q(T2)) / thực tế Q(T2)} có thể nằm trong dải lỗi dự báo cho phép. Người đánh giá có thể dự báo sự thay đổi đặc tính chất lượng trong tương lai bằng cách sử dụng những phép đánh giá có khả năng dự báo này. (3) Tính ph â n biệt Một phép đánh giá phải có khả năng phân biệt giữa chất lượng phần mềm cao và chất lượng phần mềm thấp. Người đánh giá có thể phân loại các thành phần phần mềm và ch ấ m điểm các giá trị đặc t í nh chất lượng bằng cách sử dụng những phép đánh giá có khả năng ph â n biệt này. A. 3 . Sử dụng các phép đánh giá cho ước lượng và dự báo Ước lượng và dự báo các đặc tính chất lượng của sản phẩm phần mềm tại các giai đoạn trước l à hai trong các ứng dụng có ích nh ấ t của các phép đánh giá. A. 3.1 . Dự báo đ ặc t í nh chất lượng bằng dữ liệu hiện thời (a) Dự báo bằng ph â n tích h ồ i quy Khi dự báo giá trị tương lai (hệ đo) của cùng đặc tính (thuộc tính) b ằ ng cách sử dụng giá trị hiện thời (số liệu) của nó (thuộc tính), phân tích hồi quy là hữu ích khi dựa trên một bộ dữ liệu quan sát được trong một chu kỳ thời gian đ ủ lớn. V í dụ, giá trị của MTBF (Thời gian trung bình giữa các lần bị lỗi) thu được trong giai đoạn kiểm tra (các hoạt động) có thể được sử dụng để ước lượng MTBF trong gia i đoạn vận hành. (b) Dự đoán bằng phân tích tương quan Khi dự báo giá trị tương lai (hệ đo) của một đặc tính (thuộc tính) bằng cách sử dụng giá trị đo hiện thời của các thuộc tính khác nhau, phân tích tương quan là hữu ích khi sử dụng một chức năng hợp lệ mà nó chỉ ra sự tương quan. V í dụ, s ự phức tạp của các mô-đun trong suốt giai đoạn m ã h ó a c ó thể được sử dụng để dự báo thời gian hoặc nguồn lực y ê u cầu cho việc sửa đổi chương trình và kiểm tra trong quá trình b ả o tr ì . A. 3.2 . Ước lượng các đặc t í nh ch ấ t lượng hiện tại dựa trên các sự việc hiện tại (a) Ước lượng bằng các phân tích tương quan Khi ước lượng giá trị hiện tại của các thuộc tính mà không thể đo trực tiếp, hoặc không có hệ đo nào có quan hệ chặt chẽ với hệ đo mục tiê u , thì việc phân tích tương quan là thực sự hữu ích. Ví dụ, v ì s ố lỗi còn lại trong sản phẩm phần mềm là không thể đo được, nó có thể được ước lượng bằng cách sử dụng số lượng và xu hướng các lỗi được phát hiện. Những phép đánh giá sau được sử dụng để dự báo các thuộc tính không có khả năng đo trực tiếp phải được ước lượng như mô tả sau: - Sử dụng các mô h ì nh cho dự báo thuộc tính; - Sử dụng công thức cho dự báo thuộc tính; - Sử dụng các cơ sở kinh nghiệm cho dự báo thuộc tính; - Sử dụng phương pháp căn chỉnh để dự đoán thuộc tính. Những phép đánh giá này được sử dụng để dự báo các thuộc tính không thể đo trực tiếp được có thể được xác nhận như sau: - Xác định các hệ đo thuộc tính có thể dự báo được; - Xác định các phép đánh giá sẽ được sử dụng cho việc dự báo; - Thực hiện phân tích thống kê dựa trên sự xác nhận; - Ghi chép các kết quả; - Lặp lại những việc trên một cách định kỳ. A. 4 . Phát hiện độ l ệ ch và không bình thường trong các ph ầ n tử dễ xảy ra v ấ n đề chất lượng Các công cụ kiểm soát chất lượng sau đ â y có thể được sử dụng để phân tích độ l ệch và không b ì nh thường trong các thành phần hợp thành của sản phẩm phần mềm: (a) Biểu đồ tiến trình (các mô-đun chức năng của phần mềm) (b) Phân tích Pareto và các biểu đồ (c) Ho à nh đồ và biểu đồ phân tán (d) Biểu đồ chạy, biểu đồ tương quan và phân lo ạ i (e) Biểu đồ lshikawa (dạng hình cá) (f) Qu ả n lý quá trình thống kê (các m ô -đun của phần mềm) ( g) Tờ kiểm tra Các công cụ ở trên có thể được sử dụng để nhận biết các vấn đề chất lượng t ừ dữ liệu thu được b ằ ng cách áp dụng các phép đánh giá. A. 5 . Hiển thị các k ế t quả đo (a) Hiển thị các k ế t quả đánh giá đặc tính chất lượng Có các biểu diễn đồ họa hữu ích đ ể hiển thị các kết quả đánh giá chất lượng cho mỗi đặc tính chất lượng và đặc tính chất lượng nhỏ như: biểu đồ Radar, biểu đồ cột, biểu đồ đa biến, ma trận hiệu năng quan trọng (Importance Per f ormance Matrix), ... (b) Hiển thị hệ đo Có các biểu diễn đồ h ọa hữu ích để hiển thị như biểu đồ Parato, các biểu đồ xu thế, ho à nh đồ, biểu đồ tương quan,... PHỤ LỤC B ( Tham khảo) SỬ DỤNG CÁC PHÉP ĐÁNH GIÁ NGOÀI, TRONG VÀ CHẤT LƯỢNG SỬ DỤNG (VÍ DỤ KHUNG) B. 1 . Giới thiệu Ví dụ khung này là mô tả mức cao l à m thế nào để mô hình chất lượng ISO/IEC 9126 và các phép đánh giá liên quan có thể được sử dụng trong suốt quá trình phát triển và triển khai phần mềm để đạt được sản phẩm chất lượng đáp ứng được các nhu cầu người sử dụng. Các khái niệm đưa ra trong ví dụ này có thể được triển khai dưới nhiều hình thức khác nhau cho khách hàng để phù hợp với cá nhân, t ổ chức, hay dự án. Ví dụ này sử dụng các quá trình vòng đời quan trọng từ ISO/IEC 12207 như l à một tham chiếu cho vòng đời phát triển phần mềm truyền thống và các bước qu á trình đánh giá chất lượng từ TCVN 8707:2011 như là một tham chiếu cho quá trình đánh giá sản phẩm phần mềm truyền thống . Các khái niệm này có thể được ánh xạ tới các mô hình khác của các vòng đời sản phẩm phần mềm nếu người sử dụng mong muốn cũng như là hiểu các khái niệm này. B. 2 . Tổng quan về quá trình phát triển và quá trình chất l ượ ng Bảng 28 mô tả mô hình ví dụ liên kết các hoạt động quá trình vòng đời phát triển phần mềm (hoạt động 1 tới hoạt động 8) tới các thực hiện chính của chúng và các mô hình liên quan để đo chất lượng của các thực hiện (ví dụ: chất lượng sử dụng, chất lượng ngoài, hoặc chất lượng trong). Hàng 1 mô tả các hoạt động quá trình vòng đời phát triển phần mềm. (Các hoạt động này có thể thay đ ổ i cho phù hợp với các nhu cầu riêng). Hàng 2 mô tả liệu phép đo thực tế hoặc dự báo có thể được cho các loại hệ đo (tức là chất lượng sử dụng, chất lượng ngoài hoặc chất lượng trong) hay không. Hàng 3 mô tả các thực hiện chính c ó thể sẽ được đo cho chất lượng và Hàng 4 mô tả các phép đánh giá có thể được áp dụng tr ê n mỗi thực hiện tại mỗi hoạt động của quá trình. Bảng 28 - Mô hình đánh giá chất lượng Hoạt động 1 Hoạt động 2 Hoạt động 3 Hoạt động 4 Hoạt động 5 Hoạt động 6 Hoạt động 7 Hoạt động 8 Giai đoạn Phân tích yêu cầu (Phần mềm và các hệ thống) Thiết kế kiến trúc (Phần mềm và các hệ thống) Thiết kế chi tiết phần mềm Lập trình và kiểm tra phần mềm Tích hợp phần mềm và kiểm tra chất lượng phần mềm Tích hợp hệ thống và kiểm tra chất lượng hệ Cài đặt phần mềm Hỗ trợ tiếp nhận phần mềm Tham chiếu chuỗi mô hình 9126 Chất lượng người sử dụng yêu cầu, Chất lượng trong yêu cầu, Chất lượng ngoài yêu cầu Chất lượng sử dụng dự báo, Chất lượng ngoài dự báo, Chất lượng trong đo được Chất lượng sử dụng dự báo, Chất lượng ngoài dự báo, Chất lượng trong đo được Chất lượng sử dụng dự báo, Chất lư ợ ng ngoài đo được, Chất lượng ngoài dự báo, Chất lượng trong đo được Chất lượng sử dụng dự báo, Chất lượng ngoài đo được, Chất lượng ngoài dự báo, Chất lượng trong đo được Chất lượng sử dụng dự báo, Chất lượng ngoài đo được, Chất lượng trong đo được Chất lượng sử dụng dự báo, Chất lượng ngoài đo được, Chất lượng trong đo được Chất lượng sử dụng đo được, Chất lư ợ ng ngoài đo được, Chất lượng trong đo được Các thực hiện chính của hoạt động Các yêu cầu chất lượng người sử dụng (xác định), Các yêu cầu chất lượng ngoài (xác định), Các yêu cầu chất lượng trong ( xác định) Thiết kế cấu trúc phần mềm/ hệ thống Thiết kế chi tiết phần mềm Mã nguồn phần mềm, Các kết quả kiểm tra Sản phẩm ph ầ n mềm, Các kết qu ả kiểm tra Hệ thống tích hợp, Các kết quả kiểm tra Hệ thống đã cài đặt Sản phẩm phần mềm thu được Các phép đánh giá sử dụng để đo Các phép đánh giá trong (các phép đánh giá ngoài có thể được áp dụng để xác nhận đặc tả) Các phép đánh giá trong Các phép đánh giá trong Các phép đánh giá trong, Các phép đánh giá ngoài Các phép đánh giá trong, Các phép đánh giá ngoài Các phép đánh giá trong, Các phép đánh giá ngoài Các phép đánh giá trong, Các phép đánh giá ngoài Các phép đánh giá khi sử dụng, Các phép đánh giá trong, Các phép đánh giá ngoài B. 3 . Các bước tiếp cận chất lượng B. 3.1 . T ổ ng quan Việc đánh giá chất lượng trong suốt vòng đời phát triển được chia thành các bước sau. Bước 1 được hoàn thành trong hoạt động phân tích yêu cầu. Từ bước 2 tới bước 5 phải được lặp lại trong mỗi hoạt đ ộng quá trình được xác định ở trên. B. 3.2 . Bước 1 - Xác định các yêu cầu chất lượng Với mỗi đặc tính chất lượng và các đặc tính chất lượng nhỏ được định nghĩa trong mô h ì nh chất lượng xác định trọng s ố nhu c ầ u người sử dụng b ằ ng hai ví dụ trong Bảng 29 cho mỗi loại phép đo. (Chất lượng sử dụng, chất lượng ngoài và chất lượng trong). Xác định các tr ọ ng số liên quan sẽ cho phép người đánh giá tập trung nguồn lực đánh giá những đặc tính nhỏ quan trọng nhất. Bảng 2 9 - Các tiêu ch í theo nhu cầu người sử dụng và trọng s ố Chất lượng sử dụng Đặc tính Trọng số (Cao/trung bình/thấp) (High/Medium/Low) Tính hiệu quả H Tính năng suất H Tính an toàn L Tính thỏa mãn M Chất lượng ngoài và trong Đặc tính Đặc tính nhỏ Trọng số (Cao/trung bình/th ấ p) (High/Medium/Low) Tính chức năng Tính phù hợp H Độ chính xác H Khả năng tương tác L Tính an toàn L Tính tuân thủ M Tính tin cậy Tính hoàn thiện L Kh ả năng chịu lỗi L Khả năng phục hồi H Tính tuân thủ H Tính khả dụng Tính dễ hiểu M Tính dễ học L Khả năng vận hành H Tính hấp dẫn M Tính tuân thủ H Tính hiệu quả Thời gian xử lý H Sử dụng tài nguyên H Tính tuân thủ H Khả năng bảo trì (Maintainability) Kh ả năng ph â n tích H Kh ả n ă ng th a y đ ổ i được M Tính ổn định L Khả năng kiểm tra được M Tính tuân thủ H Tính khả chuyển Khả năng thích nghi H Khả năng cài đặt L Tính cùng tồn tại H Khả năng thay thế M Tính tuân thủ H CHÚ THÍCH : Các tr ọ ng số có t h ể được biểu diễn b ằ ng các mức độ Cao/ Trung bình /T h ấ p hoặc sử dụng tỷ lệ theo số t ừ 1-9 (v í dụ: 1-3 = Th ấ p, 4-6 = Trung bình; 7-9 = Cao) B. 3.3 . Bước 2 - Đặc tả đánh giá Bước này được sử dụng trong mọi hoạt động phát triển phần mềm. Với mỗi đặc tính chất lượng nhỏ được định nghĩa trong mô hình chất lượng xác định các phép đánh giá được áp dụng và các mức độ yêu cầu để đạt được các yêu cầu của người sử dụng thiết lập trong bước 1 và được ghi lại như được chỉ ra trong ví dụ ở Bảng 30. Đ ầ u vào cơ bản và các hướng dẫn tạo lập nội dung có thể đạt được từ ví dụ trong Bảng 28, nó trình bày những v ấ n đề được đo trong giai đoạn này của v ò ng đời phát triển. CHÚ THÍCH: Nếu có thể , một số dòng trong bảng có thể bỏ trống trong một số hoạt động nhất định của vòng đời phát triển , b ở i v ì không th ể đo tất c ả các đ ặ c t í nh nh ỏ trong quá trình phát triển. Bảng 30 - Các bảng đo chất lượng Phân loại phép đo chất lư ợn g sử dụng Đặc t í nh Các phép đánh giá Mức độ yêu cầu K ế t quả đánh Tính hiệu quả Tính năng suất Tính an toàn Tính th ỏ a mãn Phân loại phép đo chất lượng ngoài Đặc tính Đặc tính nhỏ Các phép đánh giá Mức độ yêu cầu K ế t quả đánh giá thực tế Chức năng Tính phù hợp Độ chính xác Khả năng tương tác Tính an toàn Tính tuân thủ Tính tin cậy Tính hoàn thiện Khả năng chịu lỗi Khả năng phục hồi Tính tuân thủ Tính khả dụng Tính dễ hiểu Tính dễ h ọ c Khả năng vận hành Tính hấp dẫn Tính tuân thủ Tính hiệu quả Thời gian xử lý Sử dụng tài nguyên Tính tuân thủ Khả năng bảo trì Khả năng phân tích Khả năng thay đổi được Tính ổn định Khả năng kiểm tra được Tính tuân thủ Tính khả chuyển Khả năng thích nghi Khả năng cài đặt Tính cùng tồn tại Khả năng thay thế Tính tuân thủ Phân loại phép đo chất lượng trong Đặc t í nh Đặc tính nhỏ Các phép giá Mức độ yêu cầu Kết quả đánh giá thực t ế Chức năng Tính phù hợp Độ ch í nh xác Khả năng tương tác Tính an toàn Tính tuân thủ Tính tin cậy Tính hoàn thiện Khả năng chịu lỗi Khả năng phục hồi Tính tuân thủ Tính khả dụng Tính dễ hiểu Tính dễ học Khả năng vận hành Tính hấp dẫn Tính tuân thủ Tính hiệu quả Thời gian xử lý Sử dụng tài nguyên Tính tuân thủ Khả năng bảo trì Khả năng phân tích Khả năng thay đổi được Tính ổn định Khả năng kiểm tra được Tính tuân thủ Tính khả chuyển Kh ả năng thích nghi Khả năng c à i đặt Tính cùng tồn tại Khả n ă ng thay thế Tính tuân thủ B. 3.4 . Bước 3 - Thiết k ế đánh giá Bước này được áp dụng trong mọi hoạt động của quá trình phát triển. Phát triển một kế hoạch đo (tương tự như ví dụng trong Bảng 31) bao gồm các sản phẩm được sử dụng như đầu vào cho quá trình đo và các phép đánh giá được áp dụng. Bảng 31 - K ế hoạch đánh giá Đặc tính nhỏ Sản phẩm đư ợ c đánh giá Các phép đánh giá trong đư ợc áp dụng Các phép đánh giá ngoài được áp d ụ ng Các phép đánh giá sử dụng đư ợ c áp dụng 1 . Tính phù hợp 1. 1. 1. Không áp dụng 2. 2. 2. 3. 3. 3. 2. Tính thỏa mãn 1. Không áp dụng Không áp dụng 1. 2. 2. 3. 3. 3. 4. 5. 6. B. 3.5 . Bước 4 - Thực hiện đánh giá Bước này áp dụng trong mọi hoạt động của quá trình phát triển. Thực hiện kế hoạch đánh giá và hoàn thành các cột đưa ra trong ví dụ tại Bảng 30. Ti ê u chuẩn ISO/IEC 14598 phải được sử dụng như là một hướng dẫn cho việc lập kế hoạch và thực hiện quá trình B. 3.6 . Bước 5 - Ph ả n hồi tới tổ chức Bước này áp dụng trong mọi hoạt động của quá trình phát triển. Khi tất các phép đo được hoàn th à nh ánh xạ kết quả vào Bảng 28 và ghi chép các kết luận dưới dạng báo cáo. Đồng thời cũng xác định các lĩnh vực cụ thể yêu cầu cải tiến chất lượng cho sản phẩm để đáp ứng các nhu cầu của người sử dụng. PHỤ LỤC C (Tham khảo) GIẢI THÍCH CHI TIẾT CÁC LOẠI THANG ĐÁNH GIÁ VÀ CÁC LOẠI PHÉP ĐO C. 1 . Các l oại thang đánh giá Một trong các loại thang đánh giá sau ph ả i được xác định cho mỗi hệ đo, khi người sử dụng các phép đánh giá có kết quả của phép đo và sử dụng hệ đo để tính toán hoặc so sánh. Giá trị trung bình, tỷ lệ hay các giá trị khác nhau có thể không có ý nghĩa cho một vài hệ đo. Các loại thang đánh giá là: thang danh nghĩa, thang thứ tự, thang khoảng cách, thang tỷ lệ, và thang tuyệt đối. Thang đánh giá luôn được xác định M' =F(M); trong đó F là một hàm được thừa nhận của M. Đồng thời mô t ả của mỗi loại thang đo chứa mô tả một hàm được thừa nhận (nếu M là một phép đánh giá th ì M’ =F ( M) cũng l à một phép đánh giá). (a) Thang d anh nghĩa M' = F(M) trong đó F là hàm ánh xạ một-một. Thang này bao gồm việc phân loại, v í dụ, các loại lỗi phần mềm (dữ liệu, điều khiển,...). Giá trị trung bình chỉ có ý nghĩa nếu nó được tính với tần suất của chung một loại. Tỷ số có ý nghĩa chỉ khi nó được tính với cùng tần suất của mỗi loại được ánh xạ. Do đó, t ỷ số và giá trị trung bình có thể được sử dụng để thể hiện sự khác nhau về tần suất của cùng một loại giữa các trường hợp sớm và muộn hoặc hai trư ờ ng hợp tương tự. Mặt khác, chúng có thể được sử dụng để so sánh tần suất của mỗi loại khác nhau tương ứng. (b) Thang thứ tự M’ = F(M) trong đó F là bất kỳ hàm đơn điệu tăng được ánh xạ như sau, M(x) >= M(y) thì M'(x) >=M ' (y). Thang này bao gồm việc sắp xếp, ví dụ, lỗi phần mềm theo thứ tự nghiêm trọng (không đáng kể, đ áng kể, nghiêm trọng, thảm họa). Giá trị trung bình ch ỉ có ý nghĩa chỉ khi nó được tính với tần suất của thứ tự ánh xạ giống nhau. T ỷ số chỉ có ý nghĩa khi nó được t í nh với tần suất của mỗi thứ tự ánh xạ riêng. Do đ ó , tỷ số và giá trị trung bình có thể được sử dụng để mô tả sự khác nhau về tần suất của cùng một thứ tự giữa các trường hợp sớm hoặc muộn hoặc giữa hai trường hợp tương tự. Trong trường hợp khác, chúng có thể được sử dụng để so sánh tần suất của từng th ứ tự. V í dụ. Kết quả kiểm tra ở trường học (xuất sắc, gi ỏ i, khá, trung bình). Ý nghĩa. Mỗi trường hợp sẽ phụ thuộc vào vị trí của nó theo thứ tự, ví dụ ở giữa. (c) Thang khoảng cách M' = a M + b (a>0) Thang này bao gồm các thang tỷ lệ được sắp xếp trong đó sự khác nhau giữa hai hệ đo c ó ý nghĩa thực nghiệm. Tuy nhiên tỷ lệ của hai hệ đo trong một khoảng thang có thể không có cùng ý nghĩa thực nghiệm. Ví dụ. Nhiệt độ (độ C , độ F, độ K), khác nhau giữa thời gian tính toán thực tế và thời gian dự báo. Ý nghĩa: Giá trị trung bình và bất cứ cái g ì phụ thuộc vào thứ tự. (d) Thang t ỷ l ệ M' - aM (a>0) Thang này bao gồm các thang tỷ lệ được sắp xếp trong đó sự khác nhau giữa hai hệ đo và là tỷ l ệ của hai hệ đo có cùng ý nghĩa thực nghiệm. Giá trị trung bình và tỷ s ố có ý nghĩa tương ứng và chúng mang lại ý nghĩa thực tế cho các giá trị. Ví dụ: Chiều dài, khối lượng, thời gian, kích cỡ, số đếm. Ý nghĩa: Trung bình nhân, phần trăm. (e) Thang tuyệt đối M’ = M chúng có thể được đo bởi ch ỉ một cách. Bất cứ một trạng thái nào li ê n quan tới hệ đo đều có ý nghĩa. Ví dụ, kết quả của phép chia một hệ đo loại thang tỷ lệ bởi một hệ đo loại thang đo tỷ lệ khác có đơn vị đo giống nhau là thang tuyệt đối . Phép đo loại thang tuyệt đối trong thực tế là không có đơn vị. Ví dụ: Số dòng của đoạn m ã c ó giải th í ch được chia cho tổng các dòng mã lệnh. Ý nghĩa: Bất kỳ cái gì. C. 2 . Các loại phép đo C.2.1 . Tổng quan Đ ể thiết kế một thủ tục thu thập dữ liệu, giải thích ý nghĩa, chuẩn h ó a các phép đo để so sánh, người sử dụng các phép đánh giá phải xác định và xem xét các loại hệ đo của phép đo được áp dụng bởi phép đánh giá. C .2.2 . Loại đo kích thước Tổng quan Một hệ đo loại này thể hiện kích thước riêng của phần mềm theo những đòi hỏi để đánh giá trong phạm vi xác định của nó. CHÚ THÍCH : Phần mềm có thể có nhiều dạng bi ể u diễn kích cỡ (giống như bất k ỳ thực th ể nào có thể được đo bởi nhi ề u h ơ n một chiều - khối lượng, th ể t í ch, diện tích bề mặt ,. ..). Chuẩn hóa các hệ đo k hác với phép đo kích thước có thể đưa ra các giá trị so sánh được theo một loại đơn vị kích thước. Phép đo kích thước mô tả ở dưới c ó thể được sử dụng cho phép đo chất lượng phần mềm. Loại quy mô chức năng Quy mô chức năng là một v í dụ trong một loại quy mô (một chiều) mà phần mềm có thể có. Bất kỳ một ví dụ nào của ph ầ n mềm có thể có nhiều hơn một quy mô chức năng phụ thuộc vào, ví dụ: a) Mục đích của phép đánh giá k í ch thước phần mềm (Nó ảnh hưởng tới phạm vi của phần mềm được đo); b) Các phương pháp đánh giá quy mô chức năng cụ thể được sử dụng (Nó sẽ thay đổi các đơn vị và thang). Định nghĩa các khái niệm và quá trình áp dụng phương pháp đo quy m ô chức năng (phương pháp FSM) được cung cấp trong tiêu chuẩn ISO/ IEC 14143-1. Để sử dụng các phép đo quy mô chức năng cho tiêu chuẩn hóa cần đ ả m b ả o rằng cùng một phương pháp đo quy m ô chức năng giống nhau được sử dụng và các ph ầ n mềm khác nhau được so sánh được đo với cùng mục đích và bởi vậy c ó quy mô có thể so sánh. Mặc dù các quy mô sau thường cho rằng biểu diễn quy mô chức năng, nó không được b ả o đ ả m chúng tương đương với quy mô chức năng thu được từ việc áp dụng phương pháp FSM tuân thủ theo tiêu chuẩn ISO / IEC 14143-1. Tuy nhiên, chúng được sử dụng rộng r ã i trong phát triển phần mềm: 1. Số trang; 2. Số màn hình; 3. Số tệp tin hoặc tập dữ liệu được xử lý; 4. Số các yêu cầu chức năng được mô tả trong đặc tả yêu cầu người sử dụng. Loại kích thước chương trình Trong mục này, thuật ngữ "lập tr ì nh” biểu diễn kết quả hành động, và thuật ngữ “ngôn ngữ" biểu diễn loại mô tả sử dụng. 1. Kích thước chương trình nguồn Ngôn ngữ lập trình phải được diễn gi ả i và nó phải được cung cấp sao cho nó không được thực hiện, v í dụ như các dòng giải thích, được xử lý. Các phép đo dưới đây thường được sử dụng: a. Các lệnh nguồn không phải chú thích (NCSS) Các lệnh nguồn không phải chú thích (NCSS) bao gồm các lệnh thực hiện và các lệnh khai báo dữ liệu với các lệnh nguồn l ô -gic. CHÚ THÍCH: 1. Kích t hước chương trình mới. Người phát triển có thể sử dụng kích thước chương t r ì nh phát triển mới đ ể th ể hiện k í ch thước phát triển và bảo trì sản phẩm làm việc. 2. Thay đổi kích thước chương trình. Người phát triển có thể sử dụng k ích thước chương trình thay đ ổi để thể hiện kích thước phần mềm chứa các thành ph ầ n được sửa đổi. 3. Kích thước chương trình máy tính. Ví dụ hàm kích t hước chương trình máy tính l à các dòng mã mới +0.2 x số dòng của m ã nguồn trong các thành phần được s ử a đổi. C ó thể cần ph â n biệt các loại lệnh của m ã nguồn chi tiết hơn như sau: - Loại câu lệnh Lệnh nguồn logic (LSS). LSS đo số lượng các ch ỉ d ẫn phần mềm. Lệnh này không quan tâm đến mối quan hệ tới các d òng và độc lập với định d ạ ng vật lý m à nó xuất hiện. Lệnh nguồn vật lý (PSS). PSS đo số lượng các dòng mã lệnh của phần mềm. - Thuộc tính câu lệnh Các câu lệnh thực thi; Các câu lệnh khai báo dữ liệu; Các câu lệnh hướng dẫn biên dịch; Các câu lệnh chú thích mã nguồn; - Nguồn gốc Các câu nguồn được sửa đổi; Các câu lệnh ngu ồ n được thêm vào; Các c â u lệnh nguồn được loại b ỏ ; + Các c â u lệnh nguồn được phát triển mới (= các câu lệnh được thêm + các câu lệnh được s ử a đổi); + Các câu lệnh được tái sử dụng (= các câu lệnh gốc - câu lệnh được sửa đ ổ i - các câu lệnh được loại b ỏ ). 2. K í ch thước đếm số từ chương trình Phép đo này có thể được tính toán bằng cách sử dụng phép đo Halstea d : Từ vựng chương trình = n1+n2; Độ dài chương trình được quan sát = N1+N2, trong đó: - n1: là số các từ toán tử phân biệt được chu ẩ n bị và dự trữ b ở i ngôn ngữ chương trình trong mã nguồn chương trình; - n2: là số các từ toán hạng phân biệt được xác định bởi người lập tr ì nh trong một mã nguồn chương trình; - N 1 : là số các sự kiện xuất hiện của các toán tử phân biệt trong một mã nguồn chương trình; - N2: là số các sự k iện xuất hiện của các toán hạng phân biệt trong một mã nguồn chương trình. 3. Số các đoạn mã chương trình (Mô-đun) Phép đo này đếm số đ ố i tượng có khả năng thực thi độc lập như là các đoạn chương trình. Loại đo tài nguyên sử dụng Loại phép đo này xá c định tài nguyên được sử dụng bằng cách vận hành phần mềm đang được đánh giá. Ví dụ như: a) Dung lượng bộ nhớ, ví dụ, dung lượng đĩa hoặc bộ nhớ tiêu tốn tạm thời hoặc thường xuyên khi thực thi phần mềm; b) Tải v à o ra ( I / O ), ví dụ, lượng lưu lượng dữ liệu truyền thông (có ý nghĩa cho các công cụ dự phòng trên mạng); c) T ả i CPU, ví dụ, phần trăm tập lệnh CPU tiêu tốn trên mỗi giây (Phép đo n à y có ý nghĩa cho việc đánh giá sử dụng CPU và hiệu quả của việc xử l ý phân tán trong phần mềm đa phân luồng chạy trên các hệ thống đồng thời/ song song); d) Các bản ghi tệp tin và dữ liệu, ví dụ, độ d à i tính theo byte của tệp tin hoặc bản ghi. e) T à i liệu, ví dụ, như s ố trang tài liệu. Một điều quan trọng cần ghi nhận là các giá tr ị cực đại, cực tiểu và trung bình cũng như các chu kỳ thời gian v à số lần quan sát được thực hiện. Loại thủ tục vận hành từng bước xác định Loại này xác định các bước cố định của các thủ tục được xác định trong đặc tả thiết kế giao diện hoặc trong hướng dẫn người sử dụng. Giá trị đo có thể k hác nhau ph ụ thuộc vào các loại mô tả được sử dụng cho việc đo, như sơ đồ hoặc lời văn biểu diễn thủ tục vận hành người sử dụng. C .2.3 . Loại đo thời gian Tổng quan Người sử dụng các phép đ á nh giá của loại đo thời gian phải ghi nhận các chu k ỳ thời gian, số lượng vị tr í đã được kiểm tra và bao nhiêu người sử dụng tham gia đo. C ó nhiều cách thực hiện mà trong đó thời gian có thể được đo như là một đơn vị, như những ví dụ sau đây cho th ấ y. a) Đ ơ n vị thời gian thực Đây là thời gian vật lý: tức là giây, phút hoặc giờ. Đơn vị này thường được sử dụng để mô tả thời gian xử lý nhiệm vụ của phần mềm thời gian thực. b) Đơn vị thời gian máy tính Đây là thời gian xung nhịp của bộ vi xử lý máy tính: như giây, phút hoặc giờ theo thời gian CPU. c) Đơn vị thời gian theo lịch trình làm việc Bao gồm giờ làm việc, ngày làm việc, tháng hoặc năm. d) Đơn vị thời gian thành ph ầ n Khi có nhiều vị trí, thời gian thành phần chỉ rõ vị trí riêng và nó là một sự tích lũy thời gian riêng t ạ i mỗi vị trí. Đơn vị này thường được sử dụng để mô tả tính tin cậy của các phân tử, ví dụ như t ỷ lệ lỗi của các phần t ử . e) Đơn vị thời gian hệ thống Khi c ó nhiều vị tr í , thời gian hệ th ố ng không xác định cho các vị trí riêng biệt m à xác định cho tất c ả các vị trí đang chạy như là một hệ thống đồng nhất. Đơn vị này thường xuyên được sử dụng để mô tả t í nh tin cậy, ví dụ như tỷ lệ lỗi hệ thống. Loại thời gian vận hành hệ th ố ng Loại thời gian vận hành hệ thống cung cấp cơ sở cho việc đo tính hiệu dụng của phần mềm. Thời gian này chủ yếu được sử dụng cho các đánh giá tính tin cậy. Nó phải được chỉ rõ liệu phần mềm đang hoạt động liên tục hay gián đoạn. Nếu phần mềm vận hành không liên tục, nó phải được đ ảm b ả o r ằng thời gian đo được thực hiện trong các chu kỳ thời gian mà phần mềm đang hoạt động (điều này đương nhiên được mở rộng cho vận hành liên tục). a) Thời gian thực hiện Khi việc sử dụng phần mềm là không đổi, ví dụ khi vận hành hệ thống với cùng một thời lượng thời gian trong m ỗ i tuần. b) Thời gian khởi động máy Cho thời gian thực, phần mềm nhúng hoặc phần mềm vận hành hệ thống được sử dụng hoàn toàn trong suốt thời gian hệ thống hoạt động. c) Thời gian chuẩn hóa máy Như tr o ng thời gian “khởi động máy”, nhưng đưa dữ liệu từ một số máy có thời gian khởi động khác nhau và áp dụng một hệ số điều ch ỉ nh. Loại thời gian thực thi Loại thời gian thực thi l à thời gian cần thiết để thực thi phần mềm t ớ i khi ho à n thành một nhiệm vụ c ụ thể. Việc phân bổ một loạt các thực thi ph ả i được phân tích và giá trị trung bình, v i sai hoặc giá trị cực đại phải được tính toán. Việc thực thi trong các điều kiện cụ thể, đặc biệt trong điều kiện quá tải phải được kiểm tra. Loại thời gian thực thi được sử dụng chủ yếu cho việc đánh giá tính hiệu quả. Loại thời gian người sử dụng Loại thời gian người sử dụng được đo trên chu kỳ thời gian sử dụng bởi những người sử dụng cá nh â n đ ể hoàn thành nhiệm vụ bằng cách vận hành phần mềm. Sau đ â y là một vài ví dụ: a) Thời gian phiên Đo thời gian từ khi bắt đầu tới khi kết thúc phiên. Nó hữu ích, ví dụ như, cho mô tả hoạt động của người sử dụng sử dụng dịch vụ hệ thống ngân hàng tại nhà. Đối với chương trình tương tác mà thời gian rỗi không cần để ý hoặc các vấn đề t í nh khả dụng tương tác ch ỉ được xem xét. b) Thời gian thực hiện nhiệm vụ Thời gian tiêu tốn cho người sử dụng cá nhân vận hành phần mềm để hoàn thành một nhiệm vụ. Thời điểm bắt đầu v à k ế t thúc phải được xác định rõ ràng. c) Thời gian người sử dụng Thời gian sử dụng ph ầ n mềm của người sử dụng cá nhân tính từ thời điểm bắt đầu tới điểm hiện tại. (Tính xấp x ỉ , số lượng thời gian hoặc ngày người sử dụng sử dụng phần mềm từ khi bắt đầu). Loại nguồn lực Loại nguồn lực là thời gian hữu ích liên kết với nhiệm vụ dự án cụ thể. a) Nguồn lực cá nhân Là thời gian hữu ích cần thiết cho một cá nhân l à người phát triển, bảo trì hoặc người vận hành làm việc để hoàn thành một nhiệm vụ cụ thể. Nguồn lực cá nh â n được t í nh theo số giờ có ích trên ngày . b) Nguồn lực nhiệm vụ Nguồn lực nhiệm vụ l à giá trị tích lũy của t ấ t c ả các thành viên dự án cụ thể: người phát triển, người b ả o tr ì , người vận hành, người sử dụng hoặc các người khác tham gia làm việc để hoàn thành một nhiệm vụ cụ thể. Loại khoảng thời gian giữa các sự kiện Loại phép đo này là khoảng thời gian giữa một sự kiện và một sự kiện tiếp theo trong chu k ỳ quan sát. Tần suất của chu kỳ thời gian quan sát có thể được sử dụng thay cho phép đo này. Nó hay được d ùng đ ể mô tả thời gian giữa các lần xảy ra lỗi liên tiếp. C .2.4 . Loại phép đo đếm số lượng Nếu các đặc tính của tài liệu của sản phẩm phần mềm là đếm được, chúng là loại đếm tĩnh. Nếu các sự kiện hoặc hành động của con người là đếm được, chúng là loại đếm động. Loại số lượng lỗi phát hiện Phép đo đếm số lỗi phát hiện được trong suốt quá trình soát xét, kiểm tra, khắc phục, vận hành hoặc bảo trì. Cá c mức độ an toàn có thể được sử dụng để phân loại chúng và đánh giá ảnh hưởng của lỗi. Loại s ố lượng độ phức tạp c ấ u trúc chương trình Phép đo đếm sự phức tạp cấu trúc chương trình. V í dụ như là số đường dẫn riêng biệt hoặc số đo McCabe. Loại số lượng không nh ấ t quán phát hiện đ ượ c Phép đo này đếm các mục kh ô ng nh ấ t quán được tìm thấy. Chúng được chuẩn bị cho việc điều tra. a) Số mục không tuân thủ Ví dụ: - Tuân thủ với các mục xác định của các đặc tả kỹ thuật yêu cầu; - Tuân thủ với các quy tắc, quy định hoặc tiêu chuẩn; - Tuân thủ với các giao thức, định dạng dữ liệu, định dạng thiết bị lưu trữ, các mã ký tự. b) Số trường hợp không đáp ứng mong muốn người sử dụng Phép đo này đếm danh sách các điểm thỏa mãn và không thỏa mãn thể hiện khoảng cách giữa mong muốn chính đáng của người sử dụng và hiệu quả hoạt động của sản ph ẩ m phần mềm. Phép đo này sử dụng các câu h ỏ i được tr ả lời bởi các người kiểm tra, khách hàng, người vận hành hoặc người sử dụng cuối khi các thiếu sót được phát hiện. Sau đây là các ví dụ: - Chức năng sẵn sàng hoặc không sẵn sàng; - Chức năng hoạt động hiệu quả hoặc không; - Chức năng hoạt động phù hợp với mục đích sử dụng riêng của người sử dụng hay không; - Chức năng theo đúng mong muốn, cần thiết hay không. Loại s ố các thay đổi Loại này xác định các mục cấu hình phần mềm được phát hiện đã có sửa đổi. V í dụ số dòng mã lệnh được thay đổi. Loại s ố các lỗi đ ượ c phát hiện Phép đo này đếm số lỗi phát hiện được trong quá trình phát triển, kiểm t ra, vận hành hoặc b ả o trì sản phẩm. Mức độ an to à n có thể được sử dụng để phân loại chúng và đánh giá mức độ ảnh hưởng của lỗi. Loại số lầ n thử Phép đo này đếm số lần cố gắng khắc phục h ỏ ng hóc hoặc lỗi. Ví dụ, trong khi soát xét, kiểm tra và b ả o trì. Loại thao tác trong thủ tục vận hành của con người Phép đo này đếm số lần thao tác của các hoạt động của người sử dụng như các bước động của thủ tục khi người sử dụng vận hành phần mềm tương tác. Phép đo này định lượng tính khả dụng trong lao động cũng như nguồn lực sử dụng. Do đó nó được sử dụng trong việc đánh giá tính khả dụng. Các ví dụ là số lần thao tác để thực hiện nhiệm vụ, số lần chuyển động của mắt,... Loại điểm s ố Loại này xác định số điểm hoặc các kết quả của phép tính đại số. Điểm số có thể bao gồm số đếm hoặc tính các trọng số được kiểm tra trên bảng liệt kê. Ví dụ: điểm số của bảng liệt kê, điểm số của các câu hỏi, phương pháp Delphi,... THƯ MỤC TÀI LIỆU THAM KHẢO [1] ISO/ I EC 9126-1: 2001 - Software engineering - Product quality - Part 1: Quality model. [2] I SO/IEC 9126-2: 2002 - Software engineering - Product quality - Part 2: External metrics. MỤC LỤC 1 . Phạm vi áp dụng 2 . Tài liệu viện dẫn 3 . Thuật ngữ và định nghĩa 3.1 . Chất lượng 3.2 . Phần mềm và người sử dụng 3.3 . Phép đo 4 . Ký hiệu và thuật ngữ 5 . Sử dụng các phép đánh giá phần mềm 6 . Đọc và sử dụng các bảng phép đánh giá 7 . Bảng các phép đánh giá 7.1 . Các phép đánh giá chức năng 7.1.1 . Các phép đánh giá tính phù hợp 7.1.2 . Các phép đánh giá tính chính xác 7.1.3 . Các phép đánh giá khả năng tương tác 7.1.4 . Các phép đánh giá t í nh an toàn 7.1.5 . Các phép đánh giá tuân th ủ của tính năng 7.2 . Các phép đánh giá tính tin cậy 7.2.1 . Các phép đánh giá tính kỹ lưỡng 7.2.2 . Các phép đánh giá khả năng chịu lỗi 7.2.3 . Bảng các phép đánh giá khả năng phục hồi 7.2.4 . Các phép đánh giá tuân thủ của tính tin cậy 7.3 . Các phép đánh giá tính khả dụng 7.3.1 . Các phép đánh giá tính dễ hiểu 7.3.2 . Các phép đánh giá khả năng dễ học 7.3.3 . Các phép đánh giá khả năng dễ vận hành 7.3.4 . Các phép đánh giá t í nh hấp dẫn 7.3.5 . Các phép đánh giá tính tu â n thủ khả dụng 7.4 . Các phép đánh giá t í nh hiệu quả 7.4.1 . Các phép đánh giá thời gian hoạt động 7.4.2 . Các phép đánh giá sử dụng tài nguyên 7.4 3 . Các phép đánh giá tuân thủ của t í nh hiệu quả 7.5 . Các phép đánh giá khả năng bảo trì 7.5.1 . Các phép đánh giá khả năng phân tích 7.5.2 . Các phép đánh giá khả năng thay đổi được 7.5.3 . Các phép đánh giá t í nh ổn định 7.5.4 . Các phép đánh giá khả năng kiểm tra 7.5.5 . Các phép đánh giá tuân thủ của khả năng bảo trì 7 6 . Các phép đánh giá tính khả chuyển 7.6.1 . Khả năng tương thích 7.6.2 . Các phép đánh giá khả năng cài đặt phần mềm 7.6.3 . Các phép đánh giá khả năng cùng tồn tại 7.6 4 . Các phép đánh giá khả năng thay thế 7.6.5 . Các phép đánh giá tuân thủ của tính kh ả chuyển Phụ lục A (Tham khảo) Các vấn đề cần quan tâm khi sử dụng các phép đánh giá A.1 . Làm sáng tỏ các phép đánh giá A.1.1 . Sự khác nhau tiềm năng giữa kiểm tra và ngữ cảnh hoạt động sử dụng A.1.2 . Các vấn đề ảnh hưởng tới tính xác thực của các kết quả A.1 3 . Sự cân bằng của các tài nguyên đo kiểm A.1.4 . Sự chính xác của các đặc tính kỹ thuật A.2 . Xác nhận các phép đánh giá A.2.1 . Thuộc t í nh mong muốn cho các phép đánh giá A . 2 . 2 . Chứng minh tính xác thực của các phép đánh giá A.3 . S ử dụng các phép đánh giá cho ước lượng và dự báo A.3.1 . Dự báo đặc tính chất lượng bằng dữ liệu hiện thời A.3.2 . Ước lượng các đặc tính ch ấ t lượng hiện tại dựa trên các sự việc hiện tại A . 4 . Phát hiện độ lệch và không bình thường trong các phần tử dễ xảy ra vấn đề chất lượng A . 5 . Hi ể n thị các kết quả đo Phụ lục B (Tham khảo) Sử dụng các phép đánh giá ngoài, trong và chất lượng sử dụng (ví dụ khung) B.1 . Giới thiệu B.2 . T ổ ng quan về quá trình phát tri ể n và quá tr ình chất lượng B.3 . Các bước tiếp cận chất lượng B.3.1 . Tổng quan B.3.2 . Bước 1 - Xác định các yêu cầu chất lượng B.3.3 . Bước 2 - Đặc tả đánh giá B.3.4 . Bước 3 - Thiết kế đánh giá B.3.5 . Bước 4 - Thực hiện đánh giá B.3.6 . Bước 5 - Ph ả n hồi tới tổ chức Phụ lục C (Tham khảo) Giải thích chi tiết các loại thang đánh giá và các loại phép đo C.1 . Các loại thang đánh giá C.2 . Các loại phép đo C .2.1 . Tổng quan C .2.2 . Loại đo kích thước C .2.3. Loại đo thời gian C .2.4. Loại phép đo đếm số lượng Thư mục tài liệu tham khảo