TCVN8706:2011

Tiêu chuẩn quốc gia TCVN 8706:2011 về Công nghệ thông tin - Đánh giá sản phẩm phần mềm - Phần 2: Quy trình cho bên đánh giá TIÊU CHUẨN QUỐC GIA TCVN 8706:2011 CÔNG NGHỆ THÔNG TIN - ĐÁNH GIÁ SẢN PHẨM PHẦN MỀM - PHẦN 2: QUY TRÌNH CHO BÊN ĐÁNH GIÁ In f ormation technology - Software product evaluation - Part 2: Process for evaluators Lời nói đ ầ u TCVN 8706:2011 được xây dựng trên cơ s ở ISO/IEC 14598-5. TCVN 8706:2011 do Viện Khoa học Kỹ thuật Bưu điện biên soạn, Bộ Thông tin và Truyền thông đề nghị, Tổng cục Tiêu chuẩn Đo lường Chất lượng thẩm định, Bộ Khoa học và Công nghệ công bố. CÔNG NGHỆ THÔNG TIN - ĐÁNH GIÁ SẢN PHẨM PHẦN MỀM - PHẦN 2: QUY TRÌNH CHO BÊN ĐÁNH GIÁ In f ormation technology - Software product evaluation - Part 2: Process for evaluators 1 Phạm vi áp dụng Tiêu chuẩn này cung cấp các yêu cầu và các khuyến nghị cho triển khai thực tiễn đánh giá sản phẩm phần mềm khi nhiều bên tham gia cần hiểu, chấp nhận và tin tưởng các kết quả đánh giá. Quy trình mô tả trong Tiêu chuẩn này xác định các hoạt động cần thiết để phân tích các yêu cầu đánh giá, để xác định, thiết kế, và thực hiện các hoạt động đánh giá và để kết luận đánh giá bất kì loại sản phẩm phần mềm nào. Quy trình đánh giá này có thể được sử dụng để đánh giá các sản phẩm đang tồn tại sẵn, với điều kiện l à các thành phần cần thiết của sản phẩm đã có sẵn, hoặc để đánh giá các sản phẩm đang phát triển. CHÚ THÍCH: Đối với đánh giá sản phẩm đang phát triển, quy trình đánh giá cần được đồng bộ với quy trình phát triển sản phẩm phần m ề m v à các thành phần của sản phẩm sẽ được đánh giá như khi chúng được phân phối. Tiêu chuẩn này có thể được sử dụng b ở i: • Bên đánh giá của phòng thử nghiệm, khi cung cấp các dịch vụ đánh giá sản phẩm phần mềm, • Người cung cấp phần mềm, khi lập kế hoạch đánh giá các sản phẩm của họ, bao gồm đánh giá được thực hiện bằng các dịch vụ kiểm tra độc lập, • Người mua sản phẩm, khi yêu cầu thông tin đánh giá từ người cung cấp hoặc dịch vụ kiểm tra, • Người sử dụng phần mềm khi đánh giá các sản phẩm hoặc khi sử dụng các báo cáo đánh giá cung cấp bởi các phòng thử nghiệm, • Các đơn vị chứng nhận khi xác định phương án chứng nhận mới cho sản phẩm phần mềm. 2 Tài liệu viện dẫn Các tài liệu viện dẫn sau đây là cần thiết để áp dụng tiêu chuẩn này. Đối với các tài liệu viện dẫn ghi năm công bố thì áp dụng bản được nêu. Đối với các t à i liệu viện dẫn không ghi năm công bố thì áp dụng phiên bản mới nhất, bao gồm cả các sửa đổi, bổ sung (nếu có). [1] TCVN 8702:2011 - Công nghệ thông tin - Chất lượng sản phẩm phần mềm - Phần 1: Các phép đánh giá ngoài. [2] TCVN 8703:2011 - Công nghệ thông tin - Chất lượng sản phẩm phần mềm - Phần 2: Các phép đ á nh giá trong. [3] TCVN 8704:2011 - Công nghệ thông tin - Chất lượng sản phẩm phần mềm - Phần 3: Các phép đánh giá chất lượng sử dụng. [4] TCVN 8705:2011 - Công nghệ thông tin - Đánh giá sản phẩm phần mềm - Phần 1: Tổng quan. [5] TCVN 8707:2011 - Công nghệ thông tin - Đánh giá sản phẩm phần mềm - Phần 3: Quy trình cho người phát triển. [6] TCVN 8708:2011 - Công nghệ thông tin - Đánh giá sản phẩm phần mềm - Phần 4: Quy trình cho người mua sản phẩm. [7] ISO/IEC 12119 - Information technology - Software pagkages - Quality requirements and testing (ISO/IEC 12119 - Công nghệ thông tin - Gói phần mềm - Các yêu cầu chất lượng và kiểm tra). [8] ISO/IEC 12207 - Systems and software engineering - Software life cycle processes (ISO/IEC 12207 - Kỹ thuật hệ thống và phần mềm - Các quá trình vòng đời phần mềm). [9] ISO/IEC 9126-1 - Software engineering - Product quality - Part 1: Quality model. (ISO/IEC 9126-1- Kỹ thuật phần mềm - Chất lượng sản phẩm - Phần 1: Mô h ì nh chất lượng). [10] ISO/IEC 14598-6 - Information technology - Software product evaluation - Part 6: Documentation of evaluation modules. (ISO/IEC 14598-6 - Công nghệ thông tin - Đánh giá sản phẩm phần mềm - Phần 6: Tài liệu các mô đun đánh giá). [11] ISO/IEC Guide 25 - General requirements for the competence of calibration and testing laboratories (ISO/IEC Hướng dẫn 25 - Các yêu cầu chung đối với năng lực của c á c phòng thử nghiệm và hiệu chuẩn). 3 Thuật ngữ và định nghĩa 3.1 B ả n ghi đánh giá ( evaluation records) B ằ ng chứng khách quan được soạn thảo của tất cả các hoạt động thực hiện và của tất cả các k ế t quả đạt được trong quy trình đánh giá. 3.2 Báo cáo đánh giá (evaluat i on report) T à i liệu trình bày các kết quả đánh giá và thông tin liên quan v ớ i đánh giá. 3.3 Công cụ đánh giá (evaluation tool) Dụng cụ c ó thể được sử dụng trong quy trình đánh giá để thu th ậ p dữ liệu, thực hiện biên dịch dữ liệu hoặc tự động hóa một phần của đánh giá. CHÚ TH Í CH: V í dụ của các c ô ng cụ như v ậ y là bộ phân tích mã nguồn để t í nh toán các phép đánh giá m ã, các công cụ CASE đ ể tạo ra các mô h ì nh ch í nh th ứ c, môi trường kiểm tra chạy các chương tr ì nh thực hiện được, d anh sách đ ể thu thập dữ liệu th ẩ m tra hoặc bảng t í nh đ ể tạo ra t ổ ng hợp các phép đo . 3.4 Đánh giá sản phẩm ph ầ n mềm (software product evaluation) Hoạt động kỹ thuật bao gồm tạo ra đánh giá một hay nhiều đặc tính của sản phẩm phần mềm tương thích với thủ tục xác định. CHÚ TH Í CH 1: Trong t iêu chuẩn này , thuật ngữ đánh giá đ ư ợ c dù ng để tránh nh ầ m l ẫ n với khái niệm ki ể m tra được ch ấ p thuận rộng r ã i trong lĩnh vực kỹ t hu ậ t phần mềm. CHÚ TH Í CH 2: Đá nh gi á sản phẩm ph ầ n mềm không c ầ n thiết l à kiểm tra tuân th ủ trong ngữ c ả nh của phương án ch ứ ng nh ậ n. Tuy nhiên, kiểm tra tuân thủ c ó thể là một ph ầ n của đánh giá. 3.5 Bên đánh giá (evaluator) Tổ chức thực hiện đánh giá. CHÚ TH Í CH: B ê n đánh gi á có thể, ví dụ , là ph ò ng L ab. Ki ể m tra, bộ ph ậ n ch ấ t lượng của t ổ chức phá t triển phần mềm, tổ chức c h í nh phủ hay ngư ờ i sử dụng. 3.6 Người phát triển sản phẩm phần mềm (so f t w are product developer) Cá nh â n hoặc tổ chức s ả n xuất sản phẩm phần mềm. 3.7 Người yêu cầu đánh giá ( evaluation requester) Cá nhân hoặc tổ chức yêu cầu đánh giá. 3.8 Phương pháp đánh giá (evaluation method) Thủ tục mô tả hành động được thực hiện bởi bên đánh giá nhằm mục đích đạt được kết quả cho quá trình đo xác định hoặc xác minh áp dụng trên các thành phần sản phẩm hoặc trên toàn bộ sản phẩm. 4 Các khái niệm đánh giá 4.1 Các khía cạnh chung Chất lượng của các sản ph ẩ m phần mềm có thể được mô t ả trên phạm vi của các đặc tính chất lượng như xác đ ị nh trong ISO/IEC 9126-1. Tuy nhiên, đối v ớ i phép đo phần mềm, nói chung, phép đo trực tiếp các đặc tính là không thực tế. Chỉ có thể đánh giá các đặc tính này dựa tr ê n phép đo của các thuộc tính rút ra thấp hơn của s ả n phẩm. Trên ngữ cảnh đó, bên đánh giá có thể sử dụng kinh nghiệm của họ trong kỹ thuật phần mềm để đánh giá. Điều này có thể làm giảm t í nh khách quan của đánh giá. Mặt khác cần xem xét là khả năng sử dụng các phương pháp đánh giá không tiền định; mặc dù được xác định chính xác, như phương pháp có thể yêu cầu bên đánh giá lựa chọn cái nào không thể xác định. CHÚ THÍCH: Ví dụ của phương pháp đánh giá kh ô ng tiền định l à phương pháp c ấ u thành từ chuyển thà n h ph ầ n đặc tả của sản phẩm tới mô hình chính thức v à thực hiện hiệu năng hoặc đánh giá t í nh t i n cậy của mô hình này; giai đoạn chuyển đổi kéo theo nhiều lựa chọn được thực hiện bởi bên đánh giá. Do đó, tiêu chuẩn này cung c ấ p duy trì mức khách quan của đánh giá càng cao càng tốt trong tất cả các trường hợp. Chúng cung cấp phương hướng trong t ổ chức trên quan điểm của các kết quả đánh gi á trung gian và cuối cùng và giữ các b ả n ghi của quy trình đánh giá. 4.2 Điểm bắt đầu đánh giá 4.2.1 Th ỏ a thuận kh ở i đầu Đánh giá của sản phẩm phần mềm xuất hiện khi người yêu cầu của đánh giá yêu cầu bên đánh giá thực thi đánh giá của sản phẩm phần mềm. CH Ú THÍCH: Khi yêu cầu đánh gi á , người yêu cầu tr ì nh b à y các yêu cầu đánh giá được phân tích bởi bên đánh giá. Người yêu cầu và b ê n đánh giá tiếp theo sẽ th ỏ a thu ậ n đặc t ả đánh giá. 4.2.2 Các b ê n tham gia đánh giá • Các người yêu cầu tiềm năng của đánh giá là, ví dụ, • Người phát triển phần mềm, • Người cung c ấ p phần mềm, • Người mua sản phẩm phần mềm, • Người sử dụng phần mềm, • Người tích hợp hệ thống trong vai trò người khai thác sản phẩm phần mềm B ê n đánh giá tiềm n ă ng là, ví d ụ , • Phòng Lab kiểm tra b ê n thứ ba, • Các thực th ể trong các tổ chức sản xuất hay ph â n phối phần mềm, • Các thực thể trong các tổ chức mua hay sử dụng phần mềm, • Các thực thể trong các tổ chức t í ch hợp hệ thống, • Các t ổ chức tạo lập so sánh giữa các sản phẩm. Trong một số trường hợp, người phát tri ể n của sản phẩm phần mềm tham gia vào đánh giá thậm chí nếu người phát triển không phải là người yêu cầu đánh giá. 4.3 Các đặc tính của quy trình đánh giá Mục tiêu c ơ bản của quy trình đánh giá được mô tả trong Tiêu chuẩn này là xúc tiến các đặc tính quy trình đánh giá của mong muốn như sau: • Khả năng lặp lại: đánh giá lặp lại của cùng sản phẩm với cùng đặc tả đánh giá bởi cùng bên đánh giá phải cho các kết quả có thể chấp nhận giống hệt nhau, • Khả năng tái diễn : đánh giá của cùng sản phẩm với cùng đặc tả đánh giá bởi các bên đánh giá khác nhau phải cho các kết quả có thể chấp nhận giống hệt nhau, • Tính công bằng: đánh giá phải không lệch về b ấ t cứ kết quả đặc thù nào, • T í nh khách quan: các kết quả đánh giá phải thực tế, tức là kh ô ng mang ả nh hư ở ng của cảm giác hay ý kiến của bên đánh giá. CHÚ THÍCH : Đánh gi á của cùng sản phẩm có thể được dẫn dắt bởi các đặc tả đánh giá khác nhau. Chúng do đ ó không thể so sánh được và có thể dẫn đến các kết quả k hác nhau. 4.4 Quy trình đánh giá Quy trình đánh giá gồm có một bộ các hoạt động được qu ả n lý trong mối hợp tác với người yêu cầu và bên đánh giá. Các hoạt động này được thực thi trên cơ sở dữ liệu cung cấp bởi người yêu cầu và bên đánh giá hoặc được tạo ra bởi các hoạt động khác. Chúng đưa ra dữ liệu được sử dụng bởi các hoạ t động khác hoặc là kết quả của quy trình đánh giá Các hoạt động được thiết kế để xem xét các vấn đề sau: • Các mục tiêu thay đ ổ i từ một trường hợp đánh giá sang trư ờ ng hợp khác vì rằng các sản phẩm phần mềm được phát triển đ ể thực hiện các yêu cầu khác nhau và người yêu cầu đánh giá c ó th ể đồng ý các yêu cầu đánh giá đặc thù. • Các sản phẩm phần mềm được cấu thành từ các bộ phận, khuôn dạng và bản chất của nó phụ thuộc vào các phương pháp phát triển mà chúng rất khác nhau. • Các kỹ thuật đánh giá có thể rất nhiều và cần được lựa chọn để đưa v à o các mục tiêu của đánh giá và kết cấu của sản phẩm. Tất cả các xem xét này áp đặt tính mềm dẻo cao của quy trình. 4.4.1 Các hoạt động đánh giá Quy trình đánh giá gồm có năm hoạt động đưa ra dưới đây: • Thiết lập các yêu cầu đánh giá; • Đặc tả đánh giá dựa tr ê n các yêu cầu đánh giá và mô tả của sản phẩm cung cấp bởi người yêu cầu; • Thiết kế đánh giá tạo tập kế hoạch đánh giá tr ê n cơ sở của đặc tả đánh giá; hoạt động này xem xét các th à nh phần của sản phẩm phần mềm được đánh giá và các phương pháp đánh giá đề xuất bởi bên đánh giá; • Thực hiện kế hoạch đánh giá bao gồm kiểm tra, m ô hình hóa, đo và kiểm thử các sản phẩm và th à nh phần của nó tương ứng với kế hoạch đánh giá; các hành động này có thể được thực thi sử dụng các công cụ phần mềm (thư ờ ng được cung cấp bởi bên đánh giá); các hành đ ộng được thực thi bởi bên đánh giá được ghi lại và các kết quả nhận được được đưa v à o b ả n th ả o báo cáo đánh giá; • Kết luận của đánh giá, bao gồm đưa ra báo cáo đánh giá và tùy ý sử dụng bởi bên đánh giá sản phẩm được đánh giá cũng như các thành phần của nó khi chúng được phát đi độc lập. 4.4.2 Đầu vào quy trình đánh giá Người yêu cầu cung cấp các yêu cầu l à phiên bản đầu tiên của các yêu cầu đánh giá. Người y ê u cầu cung cấp, trong qu á trình đánh giá, các đầu vào sau tới quy trình đánh giá: • Mô tả sản phẩm, • Các th à nh phần sản phẩm. Mô tả sản phẩm định rõ sản phẩm phần mềm cũng như các thành phần của n ó đưa ra để đánh giá. CHÚ THÍCH. 1. S ả n ph ẩ m c ó thể gồm các t à i liệu liên quan đ ế n lập k ế hoạch, quá trình hay các phương pháp phát triển sử dụng s ả n xuất nó. T à i liệu lập kế hoạch có thể gồm lịch tr ì nh, c ấ u trúc tổ chức hay chi phí ước lượng. 2 . N ế u người y ê u cầu là người sử d ụ ng, họ phải đồng ý với người phát triển đ ể h ỗ trợ bên đánh giá v à có thể yêu cầu người phá t tri ể n đưa ra cho bên đánh giá mô tả của các thành phần ph ầ n mềm và sản phẩm phần mềm được đánh giá . B ê n đánh giá cung cấp đầu vào sau cho quy trình đánh g i á: • Các đặc tả đánh giá xác định trước, • Các phương pháp đánh giá v à • Các công cụ đánh giá. 4.4.3 Đầu ra quy trình đánh giá Trong quy trình đánh giá, bên đánh giá cung cấp các sản phẩm đầu ra sau: • Các bản ghi đánh giá, bao g ồ m kế hoạch đánh giá và các bản ghi hành động đánh giá, • Bản th ả o báo c á o đánh giá, bao gồm các yêu cầu đánh giá, đặc tả đánh giá và các kết quả đánh giá t ổ ng hợp, • Báo cáo đánh giá được so á t xét. Các yêu cầu đánh giá, đặc tả và kế hoạch l à các s ả n ph ẩ m trung gian của quy trình đánh giá. Các b ả n ghi đánh giá và báo cáo đánh giá là các sản phẩm cuối cùng của quy trình đánh giá. Các yêu cầu đánh giá mô tả các mục tiêu của đánh giá; đặc biệt, các yêu cầu chất lượng cho sản phẩm được mô tả. Đặc tả đánh giá xác định tất cả các phân t í ch và phép đo được thực hiện trên sản phẩm và trên các thành phần của nó. Các thành phần của sản phẩm sẽ được phân tích và đo được xác định. Kế hoạch đánh giá mô tả các thủ tục v ậ n hành cần thiết để thực hiện đặc tả đánh giá; đặc biệt, tất cả các phương pháp và công cụ được sử dụng trong đánh giá sẽ được mô tả. Các bản ghi đánh giá gồm kế hoạch đánh giá và tài khoản chi tiết các hành động được thực hiện bởi bên đánh giá khi thực hiện kế hoạch đánh giá; các bản ghi được lưu giữ bởi b ê n đánh giá. CH Ú THÍCH: 1. Các bản ghi đánh giá được lưu giữ để cho phép xử lý lại các k ết quả đánh giá. 2. Hình sau đưa ra t ổ ng quan quy trình đ ư ợc mô tả trên. D ò ng thông t in giữa các hoạt động được xác định. Báo cáo đánh giá chứa các yêu cầu đánh giá , đặc tả đánh giá, các kết quả từ các phép đo và các phân tích được thực hiện và b ấ t cứ thông tin n à o khác cần thiết cho phép lặp lại hoặc tái diễn đánh giá. Báo cáo đánh giá là bản thảo đầu tiên cho soát xét. Khi trên khuôn dạng cuối cùng, nó được gửi đến người yêu cầu. Hình 1 - Quy trình đánh giá 4.5 Các quan hệ giữa đánh giá và vòng đời Đánh giá sản phẩm phần mềm có thể được thực hiện trong ngữ cảnh của bất kì quá trình vòng đời nào như trong ISO/IEC 12207. Đặc biệt, đánh giá có thể xuất hiện trong một trong các quá trình mua sản phẩm, cung cấp, phát triển, vận hành hay bảo tr ì . Quyết định dạng như đánh giá sản phẩm phần mềm có được thực hiện không có thể được đưa ra càng sớm càng tốt trong quá trình phát triển sản phẩm. Nếu điều này được làm đúng tại thời điểm bắt đầu của quá trình phát triển, th ì có khả năng xây dựng trong quá trình phát triển phần mềm các phép đo và kiểm tra được thực hiện cho đánh giá. Điều này có thể đảm b ả o khả năng tối đa cho sản phẩm th ỏa mãn tất cả các yêu cầu liên quan các kết quả đánh giá, cũng như giảm thiểu r ủ i ro của các chi phí thêm, không mong đợi xảy ra. Khi người yêu cầu là người phát triển sản phẩm, thỏa thuận trước đó với bên đánh giá thảo luận ý định đưa sản phẩm ra đánh giá cũng có thể giúp người phát tri ể n lường trước bất cứ nhu cầu đặc biệt nào (như các t à i liệu hay bằng chứng đặc thù có thể được yêu cầu) mà bên đánh giá có thể có. Có khả năng rằng một số (hoặc thậm chí tất cả) các hành động đánh giá sẽ được thực hiện tại hiện trường hơn l à tại chỗ của bên đánh giá. Trong trường hợp này, các hành động sẽ được ki ể m s oá t bởi bên đánh giá để đảm bảo các kết quả công bằng . Đối với các dự án phần mềm rất lớn, phức tạp có thể sẽ có lợi cho người phát triển có được hợp tác liên tục, chi tiết với bên đánh giá trong suốt quá trình phát triển sản phẩm để giảm thời gian và chi phí của quy trình đánh giá. Hợp tác này phải sao cho không giảm tính công bằng của bên đánh giá. 5 Các yêu cầu quy trình đánh giá 5.1 Các yêu cầu chung 5.1.1 Tổ chức và hệ thống chất l ượ ng Đ ể thỏa mãn các đặc tính trình bày tại 4.3, khả năng lặp lại, khả năng tái diễn, tính c ô ng bằng và tính khách quan của các kết quả đánh giá bên đánh giá phải hành động trong ngữ cảnh tổ chức cung cấp tất cả các đ ả m b ả o cần thiết để đạt được chất lượng đủ t ố t cho các hoạt động c ủ a nó. Để thỏa mãn các yêu cầu này t ổ chức bên đánh giá có thể kết hợp với các yêu cầu mô tả trong ISO/IEC Guide 25. 5.1.2 Các trách nhiệm người yêu cầu Các trách nhiệm của người yêu cầu đánh giá phải là • Thiết lập các quyền dựa tr ê n luật pháp cần thiết trên sản phẩm phần mềm cho mục đ í ch đánh giá. • Cung cấp các thông tin cần thiết để xác định và mô tả sản phẩm, • Công bố các yêu cầu đánh giá ban đầu v à thỏa thuận với bên đánh giá xác định các yêu cầu đánh giá thực tế; các yêu cầu n à y cho đánh giá phải tuân thủ các quy định v à tiêu chuẩn liên quan, • Công bố các yêu cầu bí mật liên quan đến thông tin đưa ra cho đánh giá, • Hành động, khi cần thiết, như người trung gian giữa người phát triển v à bên đánh giá, • Cung cấp cho bên đánh giá, khi cần, truy cập phù hợp tới máy tính và các thiết bị sử dụng cho phát triển và cho sử dụng vận hành của sản phẩm phần mềm, • Cung cấp, khi cần , hỗ trợ cho bên đánh giá, bao gồm đào tạo và truy cập t ớ i các nhân viên thích hợp, • Đảm bảo cung cấp đúng hạn, khi cần, sản phẩm phần mềm, mô tả của nó và các thành phần, bao gồm t à i liệu và các vật liệu khác, • Thông báo, khi cần, cho bên đánh giá bất k ì nhân tố nào có thể làm mất hiệu lực các kết quả đánh giá. 5.1.3 Các trách nhiệm bên đánh giá Các trách nhiệm của bên đánh giá phải l à • Kiểm tra xem người yêu cầu có đủ các quyền dựa trên luật pháp trên sản phẩm phần mềm cho đánh giá được thực hiện; đ ể làm việc đó, bên đánh giá có thể yêu cầu chứng thực từ người yêu cầu, • Tuân thủ tính bí mật yêu cầu cho tất cả các thông tin được cung cấp bởi người yêu cầu, ví dụ, sản phẩm được đánh giá, các bản ghi đánh giá và báo cáo đánh giá, • Cung cấp nhóm nh â n viên ch ấ t lượng và được đào tạo thực thi đánh giá, • Cung cấp các c ô ng cụ và công nghệ đánh giá, • Thực thi đánh giá tương ứng với các yêu cầu đánh giá, • Xử lí bất cứ công việc thực hiện nào trong đánh giá mà có ảnh hư ở ng tới kết qu ả đánh giá, • Đảm b ả o đưa ra đúng hạn báo cáo đánh giá cho người yêu cầu, • Cung cấp t í nh minh bạch thực th i đánh giá cho các phạm vi được yêu cầu bởi người yêu cầu. 5.2 Thiết lập các yêu cầu đánh giá 5.2.1 Mục đích của thi ế t lập các y ê u c ầ u đánh giá Mục đích của thiết lập các yêu cầu đánh giá là m ô tả các mục tiêu của đánh giá. Các mục tiêu liên quan đến sử dụng dự kiến của sản phẩm và các nguy cơ đi kèm của nó. Một loạt các quan điểm có thể được xem xét: của các người sử dụng sản phẩm khác nhau như người mua sản phẩm, người cung cấp, người phát triển, người vận hành hay người bảo trì. 5.2.2 Soạn thảo các yêu cầu đánh giá Hoạt động phân tích các yêu cầu đánh giá được tổng hợp từ các hoạt động nh ỏ hơn như sau: • Đề xuất các y ê u cầu người yêu cầu bởi người y ê u cầu; • Biểu diễn phạm vi bao phủ của đánh giá bởi người y ê u cầu; • Hỗ trợ người yêu cầu phân tích lí do đánh giá và mô tả các yêu cầu đánh giá bởi bên đánh giá; • Giải thích phạm vi của tin cẩn và tính nghiêm ngặt bởi bên đánh giá; • Th ỏ a thuận các yêu cầu đánh giá. Người yêu cầu đánh giá phải cung cấp các yêu cầu của người yêu cầu là phiên b ả n ban đầu của các yêu cầu đánh giá. Bên đánh giá phải hỗ trợ người yêu cầu phân tích lí do đánh giá sản phẩm và mô tả các yêu cầu đánh giá. Mi ề n ứng dụng cho sản phẩm đưa ra đánh giá phải được xem xét, cũng nh ư mô tả chung mục đích của nó. Các vấn đề chủ yếu như tính an toàn, b ả o mật, các khía cạnh kinh tế hay môi trường có thể được xem xét. Các quy định và luật áp dụng phải được xem xét. Trong các yêu cầu của người yêu cầu người yêu cầu phải biểu diễn các yêu cầu thể hiện mức bao hàm của đánh giá phải rộng nh ư thế nào. Đồng thời bên đánh giá phải đảm bảo rằng đánh giá là đ ủ nghiêm ngặt để cung cấp tin c ẩ n thực trên ch ấ t lượng phần mềm. Do đó, bên đánh giá v à người yêu cầu phải đồng thuận trên các yêu cầu đánh giá như điều kiện tiên quy ế t để tiếp tục quy trình đánh gi á . CHÚ THÍCH: Để chứng nhận sản phẩm phần mềm hoặc các thành phần của nó người yêu cầu đánh giá xác định t à i liệu quy chuẩn chứa các yêu c ầ u cho sản phẩm. 5.2.3 Các nội dung của yêu cầu đánh giá Các yêu cầu đánh giá phải chứa mô t ả chung của miền ứng d ụng cho sản phẩm đưa ra đánh giá. M ô tả chung của mục đích phần mềm phải được cung cấp. Các yêu cầu đánh giá cũng phải gồm danh sách các yêu cầu chất lượng tham chiếu đến, ví dụ, tới các đặc tính chất lượng xác định trong ISO/IEC 9126. Trên ngữ cảnh đó, các đặc tính nhỏ có thể cũng được sử dụng, khi yêu cầu tham chiếu đến đặc tính không được xác định trong ISO/ I EC 9126 phải viện dẫn t à i liệu uy tín xác định nó và người yêu cầu và bên đánh giá phải công bố r õ ràng hiểu biết chung của họ về đặc tính này. Mức độ quan trọng tương đối của đặc tính trong các yêu cầu đánh giá phải được đưa ra. Nó áp dụng khi một số phần của sản phẩm cần đánh giá có các yêu cầu đánh giá khác nhau. Để biểu diễn mức quan trọng này, chú thích mức đánh giá có thể được sử dụng. Đối v ớ i từng yêu cầu trong các yêu cầu đánh giá, đặc tả thông tin được chứa trong sản phẩm phần mềm đánh giá và các thành ph ầ n của nó phải được cung cấp. Đặc tả này phải, c à ng nhiều càng tốt, tham chiếu đến tiêu chuẩn kỹ thuật phần mềm. Hơn nữa, loại của khuôn dạng sử dụng trong các thành phần hay loại của các phương pháp phát triển phần mềm sử dụng sản xuất chúng có thể được xác định. CHÚ THÍCH: Phạm vi của khuôn dạng thông tin yêu c ầ u cho đ á nh giá có thể liên quan đ ế n c h i ph í đánh giá, tr ê n một mặt , v à đến mức độ quan trọng của y ê u c ầ u chất lượng cụ th ể của sản phẩm, trên mặt khác. 5.2.4 Phê chuẩn và báo cáo Các yêu cầu đánh giá phải được phê chuẩn như l à kết quả của soát xét chung giữa người yêu cầu và bên đánh giá. Các yêu cầu đánh giá phải được trình bày trong báo cáo đánh giá và các bản ghi đánh giá. 5.3 Đặc tả của đánh giá 5.3.1 Mục đ í ch của đặc tả đánh giá Mục đích đặc tả đánh giá ph ả i được xác định trong phạm vi của đánh giá và các phép đo được thực hiện trên sản phẩm được đ ánh giá và trên các thành ph ầ n khác nhau của nó. Mức độ chi tiết trong đặc tả đánh giá phải sao cho, trên cơ sở của nó , khả năng lặp lại v à khả năng tái diễn của đánh giá được đảm bảo. CHÚ TH Í CH 1: Đánh giá đặc tả có thể l à không tiền định. Trong trường hợp đó , n ó phải sao cho các kết quả đạt được từ đánh giá lặp lại v à tái diễn là nhất quán. Tuy nhiên, đặc tả đánh giá phải không chứa thông tin độc quyền của đánh giá. CHÚ THÍCH 2: Báo cáo đánh giá, bao gồm đặc tả đánh giá được đưa đến người y ê u cầu đánh giá có thể làm lộ cho các b ê n khác. Do đó có thể là không thích hợp cho b ê n đánh giá cố gắng bảo vệ một s ố th ô ng tin độc quyền. 5.3.2 Soạn th ả o đ ặc tả đánh giá Hoạt động xác định đánh giá được cấu thành từ ba hoạt động nhỏ: • Ph â n tích mô tả sản phẩm, • Xác định các phép đo được thực hiện trong sản phẩm và các thành phần của nó, • Th ẩ m tra đặc tả tạo ra theo các yêu cầu đánh giá. CH Ú THÍCH: Th ẩ m tra các hoạt động nhỏ có thể được thực hiện song song với các ho ạ t động khác để nhận biết các v ấ n đề c à ng sớm c à ng tốt. 5.3.2.1 Phân tích mô tả sản ph ẩ m Người yêu cầu phải cung cấp mô tả sản phẩm đưa ra đánh giá. Mục tiêu của mô tả này là: • Cho phép xác định phạm vi của đánh giá, tức l à định rõ các thành phần sản phẩm phần mềm được xem xét như một phần của sản phẩm và định rõ các thành phần không được xem xét như một phần của sản phẩm và chỉ được tham chiếu tới để dễ d à ng hiểu sản phẩm hơn. CH Ú THÍCH: 1 . Các xác định như v ậ y có thể dựa trên chi tiết các phần nào của t ài liệu thuộc v ề sản phẩm , chức n ă ng nào được thực hiện bởi sản phẩm hoặc không. 2. Xác đị nh phạm vi của đánh giá quan trọng khi sản phẩm phần mềm được đưa ra đánh giá g ắ n liền với hệ thống bao gồm phần cứng, các sản phẩm phần mềm khác, các mạng và các tổ chức v ì rằng phân biệt giữa các sản phẩm không phải bao giờ cũng rõ r à ng. • Đưa ra cho b ê n đánh giá nhận biết các thành phần sản phẩm được đ ánh giá, để hiểu cấu trúc của chúng v à xác định thông tin được cung cấp cũng như truy cập nó như thế nào. Mô tả này phải gồm danh sách các thành phần sản phẩm thực tế được đưa ra đánh giá, cơ sở lý lẽ về cấu trúc của sản phẩm và danh sách các tài liệu liên quan sản phẩm. Các thành phần liệt kê có thể bao gồm các thành phần nh ỏ hơn không cần liệt kê. Đối v ớ i từng tài liệu liên quan thành phần v à sản phẩm trong danh sách, các thông tin sau phải được cung cấp: • Mô tả b ả n chất thành phần, • Thông tin về khuôn dạng sử dụng trong thành phần, • Thông tin về k í ch cỡ của thành phần , • Quan hệ với các thành phần khác, • Thông tin về t í nh hiệu dụng của thành phần sản phẩm cho bên đánh giá. Trong bất kì trường hợp nào, tham chiếu đến các tiêu chuẩn kỹ thuật phần mềm tương ứng phải được thực hiện. Bên đánh giá ph ả i kiểm tra mô tả sản phẩm có tuân thủ các yêu cầu đề cập ở trên không. Bên đánh giá phải phân tích cơ sở lý lẽ được cung cấp cũng như mô tả thành phần để xác định mối quan hệ với các thành phần được định rõ trong các yêu c ầ u đánh giá. CHÚ TH Í CH: 3. Trong các y ê u cầu đánh giá, các thành phần có thể được xác định từ quan điểm lý thuyết, tương ứ ng với các đặc tính chất lượng được đánh giá . Trong mô tả sản phẩm các thành phần thực t ế được liệt k ê . Có thể xảy ra trường hợp một s ố thành ph ầ n thực tế của sản phẩm ch ứ a thông tin mà các yêu cầu đánh giá xác định c ó trong một loạt thành phần. 4 . Thông tin này cần thiết để nhận biết đánh giá nào c ó thể được thực hiện. Điều này sẽ được sử dụng, cùng với các yêu cầu đánh giá khác, để xây dựng đặc tả đánh giá. 5 . Phân tích m ô t ả sản phẩm có thể được c ả i tiến nhờ tư vấn với người phát triển sản phẩm. Điều này có thể cung cấp cơ hội cho bên đánh giá t hiết l ậ p đánh giá sâu theo yêu cầu sẽ có khả năng hay không, bằng cách t h ực hiện ki ể m toán ngắn g ọ n. 5.3.2.2 Xác định các phép đo Bên đánh giá phải tự xác định các phép đo đánh giá trên sản phẩm và các thành phần khác nhau được định rõ trong mô tả sản phẩm. Điều này phải đưa đến phân tích các yêu cầu đánh giá thành các đặc tính nhỏ. Kết quả của phân tích này có thể khác nhau cho các thành phần đánh giá khác nhau. Trong giai đoạn này, một số thành phần liệt k ê trong mô tả sản phẩm có thể không được xem xét trong tương lai. Bên đánh giá phải đặc tả các phép đo dự kiến sử dụng để đánh giá các đặc tính, đặc tính nhỏ và thuộc t í nh của sản phẩm và các thành phần được chọn. Các đặc tả này phải được tạo lập như một tổng hợp của các loại báo cáo sau: • Đặc tả chính thức của phép đánh giá được áp dụng hoặc một bộ xác định các thành phần, cùng hướng dẫn trình bày các hệ đo kết quả trong báo cáo đánh giá, • Tham chiếu tới báo cáo trên thành phần sản phẩm xác định các yêu cầu phần mềm được th ẩ m tra và đặc tả của th ủ tục được sử dụng thẩm tra các yêu cầu này, • Đặc tả của yêu cầu cho sản phẩm phần mềm hoặc thiếu trong trong tài liệu yêu cầu phần mềm hoặc cần đ ược giải thích chi tiết hơn cho đánh giá và đặc tả của thủ t ục sử dụng th ẩ m tra yêu cầu này, • Tham chiếu tới báo cáo trong các tiêu chu ẩ n hoặc quy định xác định mà các yêu cầu phần mềm b ổ sung được cung cấp và đặc tả được sử dụng để th ẩ m tra các yêu cầu này. Đối với mỗi báo cáo này tham chiếu phải được tạo lập tới b ả n chất và khuôn dạng sử dụng trong các thành phần được đo hay th ẩ m tra. Đối với nhiệm vụ này, bên đánh giá có thể sử dụng các đặc tả đánh giá xác định trước. Các đặc tả cơ b ả n này ph ả i có dạng đ ặ c tả mô đun đánh giá như khuyến nghị trong ISO/IEC 14598-6. 5.3.2.3 Th ẩ m tra đặc tả đánh giá Bên đánh giá phải thực thi thẩm tra đặc tả đánh g iá theo các yêu cầu đánh giá. Bên đánh giá phải kiểm tra các thành phần liệt kê trong mô tả đánh giá có cung cấp tất cả các thông tin cần thiết để thực hiện đánh giá tương ứng với các yêu cầu đánh giá không. Bên đánh giá cũng ph ả i thẩm tra các phép đánh giá và các bằng chứng xác định có đầy đủ để đáp ứng các mục tiêu của đánh giá như trình bày trong các yêu cầu đánh giá không. Kiểm tra ban đầu có thể đưa tới xác định các thông tin thiếu trong các thành phần liệt k ê trong mô tả sản phẩm. Điều này có thể được giải quyết b ằ ng một trong các cách sau: • Tham chiếu tới thành phần sản phẩm bao hàm thông tin bị thiếu phải được bổ sung trong mô tả sản phẩm; điều đó có nghĩa là người yêu cầu sẽ cung cấp thành phần này cùng các thành phần khác để thực hiện đánh giá; • Các mục tiêu của đánh giá phải được giảm, có ng h ĩa là các yêu cầu đánh giá được sửa đổi. Kiểm tra tiếp theo nhắm đến kh ẳ ng định r ằ ng các phép đo và báo cáo đề xuất trong đặc tả đánh giá là nhất quán với t ì nh trạng kỹ thuật. Điều này có thể được thực hiện bằng một trong các cách sau: • Xác định các tiêu chuẩn đo liên quan, CHÚ TH Í CH: Các ti ê u chu ẩ n nh ư vậy có thể l à các mô đun đánh giá như được mô tả trong ISO/IEC 14598-6. • Cung cấp hiệu ch ỉ nh chi tiết, tài liệu tham chiếu c ó uy tín thích hợp trong lĩ nh vực; hiệu chỉnh này phải được bao gồm trong đặc tả đánh giá. 5.3.3 Các nội dung đặc tả đánh giá Đặc tả đánh giá phải gồm: • Phạm vi của đánh giá cho các thành phần sản phẩm như được đị nh rõ trong mô tả sản phẩm, • Tham chiếu lẫn nhau giữa thông tin cần thiết để thực hiện đánh giá và các thành phần sản phẩm và các tài liệu liên quan k hác liệt kê trong mô tả sản phẩm, • Đặc tả các phép đo và các th ẩ m tra được thực thi và các tham chiếu tới các thành phần sản phẩm được thực hiện, • Á nh xạ giữa đặc tả các phép đo và các thẩm tra và các yêu cầu đánh giá cùng tham chiếu tới các tiêu chuẩn hay hiệu ch ỉ nh cho từng phép đo hay th ẩ m tra liệt kê. 5.3.4 Phê chu ẩn và báo cáo Đặc tả đánh giá phải được phê chu ẩ n như là kết quả của soát xét chung giữa người yêu cầu và bên đánh giá. Đặc tả đánh giá phải được bao gồm trong báo c á o đánh giá và trong các b ả n ghi đánh giá. Hơn n ữ a, bất cứ thay đổ i nào các yêu cầu đánh giá phải được báo cáo trong các bản ghi đánh giá. 5.4 Thiết kế đánh giá 5.4.1 Mục đích của thi ế t k ế đánh giá Thiết kế đánh giá phải soạn các thủ tục được sử dụng bởi bên đánh giá để thực hiện các phép đo xác định trong đặc tả đánh giá. Bên đánh giá ph ả i tạo lập kế hoạch đánh giá mô tả các tài nguyên cần thiết để thực hiện đánh giá đặc tả cũng như ph â n bổ các tài nguyên này trên các hành động khác nhau được thực hiện. CH Ú THÍCH 1: Các tài nguyên xem xét ở đây có thể l à , ví dụ, nguồn lực con người thực hiện các hành động đánh giá , các tài nguyên t í nh toán hay kh ô ng gian làm vi ệ c. Mức độ chi tiết trong kế hoạch đánh giá phải sao cho đ ả m b ả o các hành động được thực hiện thành thạo. CHÚ THÍCH 2 : K ế hoạch đánh giá thường bao gồm một số kiến thức bản quyền c ủ a bên đánh giá. 5.4.2 Soạn thảo kế hoạch đánh giá Các hoạt động tạo lập kế h oạc h đánh giá được cấu thành từ ba hoạt động nhỏ: • Soạn thảo các phương pháp đánh giá và tạo lập bản thảo kế ho ạ ch, • Tối ưu kế hoạch đánh giá, • Lập lịch các hành động đánh giá theo các t à i nguyên sẵn có. 5.4.2.1 Soạn thảo các phương pháp đánh giá và tạo lập bản thảo kế hoạch Mục tiêu của hoạt động này là kết hợp các phép đo hay các thẩm tra xác định với khuôn dạng của các thành phần sản phẩm khác nhau được đánh giá để soạn thảo các phương pháp chi tiết được áp dụng thực hiện các phép đo hay các th ẩ m tra xác định trên các thành phần này. Bên đánh giá phải phân tích các ràng buộc các phép đo hay các th ẩ m tra xác định trên đặc tả đánh giá. Các ràng buộc kỹ thuật có thể bao gồm, nhưng không chỉ giới hạn: • Khuôn dạng sử dụng cho các thành phần sản phẩm, • Sự kiện mà các thành phần sản phẩm được tr ì nh bày điện tử hay trên tài liệu, • Sự tồn tại của các phương pháp đánh giá xác định trước. CHÚ THÍCH: C á c phương pháp đ á nh giá định t rước có thể được đưa ra trên dạng triển khai mô đun đá nh gi á như khuyến nghị trong ISO/IEC 14598-6. Các triển khai mô đun đánh giá như vậy phải được liên hệ t ớ i đặc tả mô đun đánh giá s ử d ụng trong đ ặ c tả đánh giá. • Tính hiệu dụng của các công cụ hỗ trợ kỹ thuật đánh giá, • Kích cỡ của các thành phần sản phẩm. Đối với từng phép đo hoặc thẩm tra xác định trong đặc tả đánh giá bên đánh giá phải soạn thảo phương pháp đánh giá thích hợp. Khi phương pháp đánh giá m ô tả được dựa trên sử dụng công cụ phần mềm, c ô ng cụ này phải được xác định trong kế hoạch đánh giá. Một xác định như vậy phải gồm í t nhất là tên của c ô ng cụ, xác nhận phiên bản của nó và nguồn gốc của nó (ví dụ, người cung cấp). Mô tả các phương pháp đánh giá phải được hoàn thiện bởi xác nhận của các thành phần sản phẩm mà phương pháp áp dụng. Khi trong đặc tả đánh giá phân tích chuyên gia các phép đo được yêu cầu để chuyển đổi các kết quả trước khi chúng có thể được đưa vào báo cáo đánh giá, th ủ tục chuyển phải được xác định trong kế hoạch đánh giá. Đặc tả này phải chứa các hướng dẫn để bao gồm xem xét thực hiện thủ tục trong các bản ghi đánh giá. Khi l ậ p kế hoạch thực hiện chương trình cho sản phẩm được đánh giá, môi trường cần thiết cho thực hiện cũng nh ư d ữ liệu cho tính hiệu dụng của nó phải được mô tả. 5.4.2.2 T ố i ưu các phép đ o Tại giai đoạn này, các phương pháp đánh giá liên quan đ ế n các yếu tố trong đặc tả đánh giá tự liên quan đến các yêu cầu đánh giá. Mỗi phương pháp đánh giá cơ bản được lập kế hoạch áp dụng trên các thành phần sản phẩm được đánh giá khác nhau. Có thể xảy ra một loạt các phương pháp đánh giá cơ bản được áp dụng cho cùng thành phần sản phẩm hoặc có các phần chung. Bản thảo kế hoạch đánh giá phải được soát xét để tránh các hành động bên đánh giá trùng lặp. Điều này cần thiết để giảm nguy cơ lỗi và giảm nguồn lực bên đánh giá dự định. 5.4.2.3 Lập lịch các hành động đánh giá Một khi các trùng lặp các hành động đánh giá đ ã được loại b ỏ , bên đánh giá phải lập lịch các hành đ ộ ng đánh giá theo kế hoạch. B ê n đánh giá phải xem xét tính hiệu dụng của các tài nguyên như nhân viên, các công cụ phần mềm và máy tính. Bên đánh giá phải thỏa thuận với người yêu cầu đưa ra lịch trình cho sản phẩm và các thành phần của nó. Phương tiện và khuôn dạng cung cấp các thành phần sản phẩm cũng như số lượng bản sao phải được xác định. Các yêu cầu đáp ứng trong quá trình đánh giá phải được xác định. Khi người yêu cầu k hông phải l à người phát triển sản phẩm phần mềm, quan hệ giữa bên đánh giá và người phát triển phải được xác định. Đặc biệt, hỗ trợ cần thiết cho người phát triển phải được đặc t ả . Hỗ trợ như vậy có thể bao gồm, ví dụ, đào tạo, thảo luận không chính thức hay tiện nghi làm việc. Truy cập t ớ i v ị trí phát triển và v ậ n hành, khi c ầ n, phải được xác định cùng các tài nguyên cần thiết. 5.4.3 Các nộ i dung của kế hoạch đánh giá Kế hoạch đánh giá phải gồm hai phần, tài liệu các phương pháp đánh giá và lịch trình các hành động bên đánh giá. Tài liệu của một số phương pháp đánh giá trong kế hoạch đánh giá có thể gồm tham chiếu tới tài liệu bên đánh giá riêng. Trong trường hợp này, bên đánh giá phải có khả năng hiệu ch ỉ nh th í ch hợp phương pháp theo yếu tố tương ứng của đặc tả đánh giá và năng lực b ả n th â n của nó khi áp dụng phương pháp. 5.4.4 Phê chuẩn và báo cáo Kế hoạch đánh giá phải được phê chuẩn như là kết quả soát xét chung giữa người yêu cầu và bên đánh giá. Kế hoạch đánh giá phải được bao gồm trong các bản ghi đánh giá. Tài liệu các phương pháp đánh giá hoặc các tham chiếu tới chúng cũng như xác nhận các th à nh phần sản phẩm được áp dụng phải được trình bày trong báo cáo đánh giá. 5.5 Thực hiện đánh giá 5.5.1 Mục đích của thực h iệ n đánh giá Mục đích của thực hiện đánh giá là thu được các kết quả từ các hành động thực thi để đo và kiểm tra sản phẩm phần mềm theo các yêu cầu đánh giá, như đã xác định trong đặc tả đánh giá và được lập kế hoạch trong kế hoạch đánh giá. Thực hiện các hành động này đưa đến hoàn thành bản th ả o báo cáo đánh giá và các b ả n ghi đánh giá. 5.5.2 Thực hiện các hành động đánh giá Để thực hiện các hành động dự định, bên đánh giá phải • Quản lý các thành phần sản phẩm cung cấp bởi người yêu cầu, • Quản lý dữ liệu tạo ra bởi các hành động đánh giá (bao gồm báo cáo v à bản ghi), • Quản lý các công cụ được sử dụng để thực hiện các hành động đánh giá. Thêm nữa, khi các d ữ liệu cụ thể được cung cấp, bên đánh giá có thể • Quản lý các hành đ ộ ng đánh giá thực hiện bên ngoài văn ph ò ng bên đánh giá, • Qu ả n lý các yêu cầu được đưa đến bởi sử dụng các kỹ thuật đánh giá cụ thể. 5.5.2.1 Qu ả n lý các thành phần sản phẩm Người yêu cầu phải cung c ấ p các thành phần sản phẩm và các t à i liệu liên quan sản phẩm cho bên đánh giá theo lịch trình trong kế hoạch đánh giá. Bên đánh giá ph ả i ghi nhận tất cả các thành phần sản phẩm và các tài liệu li ê n quan sản phẩm. Khi k í ch cỡ và độ phức tạp đồng đều, quản lý cấu hình ch í nh thức phải được sử dụng. Thông tin ghi nhận phải có ít nhất là • Thành phần hoặc tài liệu nhận dạng duy nhất, • Tên thành ph ầ n hoặc đầu đề tài liệu, • Điều kiện của tài liệu (bao gồm các điểm không bình thường hoặc các điều kiện v ậ t lý), • Thông tin phiên b ả n, cấu hình v à ngày tháng như được cung cấp bởi người yêu cầu, • Ngày nhận. Tính bí mật của tất cả các th à nh phần sản phẩm và tài liệu liên quan sản phẩm phải được bảo vệ bởi b ê n đ ánh giá trừ khi có được th ỏ a thuận với người yêu cầu. CHÚ TH Í CH: Các yêu cầu tính b í mật ảnh hư ở ng đến nhi ề u kh í a cạnh của công việc đánh giá, bao gồm nh ậ n, xử l í , lưu tr ữ và tùy ý sử dụng t ấ t cả các th ô ng tin liên quan sản phẩm. 5.5.2.2 Qu ả n lý dữ liệu đánh giá Thực hiện các hành động đánh giá thông thường gồm đo sản phẩm và các thành phần của nó để thu được dữ liệu trung gian và làm s á ng tỏ các d ữ liệu này để tạo lập kết quả bao gồm trong báo cáo đánh giá. Dữ liệu trung gian có thể có b ả n chất thay đổi, ví dụ, số lượng, hình vẽ, sơ đồ, tr í ch dẫn từ các thành ph ầ n hay các mô hình chính thức hóa được tạo ra cho đánh giá. Tính b í mật của dữ liệu trung gian phải được bảo vệ cùng một cách như các thành phần và tài liệu gốc. Hơn nữa, bên đánh giá phải làm tất cả nỗ lực c ầ n thiết để ngăn chặn bất cứ thay đổi ngẫu nhiên hay ác ý nào của dữ liệu này. Đặc biệt, khi khối lượng và độ phức tạp của dữ liệu trung gian lớn, quản lý cấu hình chính thức phải được sử dụng để giữ sự đồng nhất giữa các kết quả đánh giá trung gian và sản phẩm đánh giá. Bên đánh giá phải đưa vào trong các b ả n ghi đánh giá bất cứ dữ liệu trung gian mà có bất kì sự diễn giải nào dựa vào. Các quyết định đưa ra trong quá trình diễn giải cũng phải trình bày trong các báo c á o đánh giá như xác định trong kế hoạch đánh giá. 5.5.2.3 Quản lý sử dụng công cụ Các hành động đánh giá có thể đ ò i hỏi sử dụng các công cụ phần mềm để thu thập dữ liệu thô hoặc thực hiện diễn giải các d ữ liệu trung gian. CHÚ THÍCH 1: Các ví d ụ công cụ như vậy là bộ phân tích mã nguồn để t í nh các phép đánh gi á m ã . Công cụ CASE tạo ra các m ô hình chính thức, các môi trường ki ể m tra chạy các chương tr ì nh hoặc các bảng t í nh đ ể tổng hợp các h ệ đ o. Khi công cụ được sử dụng thực hiện hành động đánh giá, tham chiếu đến c ô ng cụ phải được trình b à y trong báo cáo đánh giá. Tham chiếu phải gồm các nhận biết công cụ và người cung cấp nó và phiên b ả n c ô ng cụ. Tham chiếu chi tiết hơn của công cụ sử dụng phải được trình bày trong các b ả n ghi đánh giá. Nó phải gồm cấu hình chi tiết của công cụ và bất cứ thông tin thích hợp cần thiết nào có khả năng lặp lại hành động đánh giá để thu được cùng một kết quả trung gian. CHÚ TH Í CH 2: Khả n ă ng l ặ p lại yêu cầu này xem xét đến các kết quả không n ằ m trong báo cáo đánh giá CHÚ THÍCH 3: Trong một số trư ờ ng hợp có thể thích hợp bao gồm cả bản sao của công cụ thực hiện trong các bản ghi đánh giá Bên đánh giá phải tạo tất cả nỗ lực cần thiết để đ ả m bảo r ằ ng các công cụ sử dụng làm việc thực sự như chúng được đòi hỏi thực hiện. Bên đánh giá phải duy tr ì các b ả n ghi của các hành động thực hiện để xác nhận các công cụ sử dụng trong quy trình đánh giá. CHÚ TH Í CH 4: Các bản ghi có thể được dựa tr ê n, ví dụ, số lượng các cài đặt đang có của phần mềm hay thời lượng s ử d ụng công cụ. Các nhân viên đánh giá phải được đào tạo sử dụng các công cụ thích hợp. 5.5.2.4 Đánh giá tại hiện trường Trong một số trường hợp, các hành động đánh giá không thể thực hiện tại văn ph ò ng bên đánh giá . Ch ú ng có thể được t hực hiện, ví dụ, tại chỗ người phát triển hoặc tại hiện trường nơi sản phẩm phần mềm vận hành. Khi điều này xảy ra, bên đánh giá phải điều khiển tất cả các hành động đánh giá thực hiện. Đặc biệt, bên đánh giá phải tránh bất cứ t ì nh hu ố ng nào có thể làm sai các kết quả đánh giá. Bên đánh giá phải tạo t ấ t c ả nỗ lực cần thiết để đảm bảo rằng tính bí mật của kết quả đánh giá và các kết quả đánh giá trung gian phải được giữ g ì n. 5.5.2.5 Các yêu cầu kỹ thuật đánh g i á cụ th ể Khi kế hoạch đánh giá yêu cầu chương trình khả thi của sản phẩm được ki ể m tra, cấu hình kiểm tra v à môi trường kiểm tra phải được ghi lại chính xác. Khi hành động đánh giá yêu cầu tài liệu được thẩm tra, sử dụng b ả ng ki ể m tra được khuyến nghị. 5.5.3 Soát xét và báo cáo Trong quá trình thực hiện đánh giá, các kết quả đánh giá trung gian và các kết quả đánh giá cuối cùng được tạo lập. Để thực đạt được t í nh khách quan tối đa, các hành động đánh giá phải được kiểm tra bởi các nhân viên đánh giá khác với người thực hiện hành động. Tất c ả các kết quả đánh g iá phải được soát xét. Mục t iê u của soát xét phụ thuộc vào bản chất của hành động đánh giá được xem xét. Soát xét phải được quan tâm bởi ít nhất một người không trực tiếp tham gia vào thực hiện hành động đánh giá liên quan. Báo cáo soát xét ph ả i được trình bày trong các bản ghi đánh giá. Một khi đã soát xét, các kết quả đánh giá phải được đưa vào, như đã xác định trong đặc tả đánh giá, báo cáo đánh giá. Hơn nữa, khi kế hoạch đánh giá cũng xác định như vậy, một số kết quả đánh giá trung gian hoặc các quyết định diễn giải phải được đưa vào trong báo cáo đánh giá. 5.6 Kết luận đánh giá 5.6.1 Mục đích của kết l uận đánh giá Mục đích của kết luận gồm soát xét báo cáo đánh giá và t ùy ý sử dụng dữ liệu đánh giá. 5.6.2 Soát xét chung báo cáo đánh giá B ả n thảo báo cáo đánh giá phải được phân phát cho người yêu cầu và bên đánh giá. Soát xét chung giữa người yêu cầu và b ê n đánh giá phải được t ổ chức. Người yêu cầu phải được cho cơ hội bình luận báo cáo đánh giá. Nếu có các bình luận th ì chúng phải được đưa vào chương riêng của b á o cáo đánh giá. B á o cáo đánh giá phải được đưa đến cho người yêu cầu. 5.6.3 Sắp đặt dữ liệu và tài liệu đánh giá Một khi báo cáo đánh giá đã được đưa đến chính thức cho người yêu cầu, bên đánh giá phải sắp đặt dữ liệu thuộc về đánh giá. Điều này có thể thực hiện bằng một trong các cách sau, phụ thuộc vào loại dữ liệu: Các t à i liệu đưa vào đánh giá phải hoặc tr ả lại cho người yêu cầu hoặc được lưu trữ trong khoảng thời gian xác định hoặc được hủy b ỏ an toàn. Báo cáo đánh giá và các bản ghi đánh giá phải được lưu trữ trong một khoảng thời gian xác định. Tất cả dữ liệu khác phải được hoặc lưu trữ trong khoảng thời gian xác định hoặc được hủy bỏ an toàn. Khi khoảng thời gian lưu trữ đ ã hết đối với một số dữ liệu, nó phải được hoặc lưu trữ lại trong khoảng thời gian xác định hoặc được hủy b ỏ an toàn. Gi ả thiết người yêu cầu đồng ý rõ ràng, các kết quả đánh giá trung gian có thể được sử dụng bởi bên đánh giá đ ể nghiên cứu các kỹ thuật đánh giá và các phép đánh giá phần mềm. THƯ MỤC TÀI LIỆU THAM KHẢO [1] ISO 14598-1:1998 - In f ormation Technology - Software Product Evaluation - Part 1: General Overview. [2] ISO 14598-2:1998 - In f ormation Technology - Software Pro d uct Evaluation - Part 2: Plan n ing and management. [3] ISO 14598-5:1998 - In f orma t ion Technology - Software Product Evaluation - Part 5: Process for evaluators. MỤC LỤC 1 Phạm vi áp dụng 2 Tài liệu viện dẫn 3 Thuật ngữ và định nghĩa 4 Các khái niệm đánh giá 4.1 Các khía cạnh chung 4.2 Điểm bắt đầu đánh giá 4.2.1 Thỏa thuận khởi đầu 4.2.2 Các bên tham gia đánh giá 4.3 Các đặc tính của quy trình đánh giá 4.4 Quy trình đánh giá 4.4.1 Các hoạt động đánh giá 4.4.2 Đầu vào quy trình đánh giá 4.4.3 Đầu ra quy trình đánh giá 4.5 Các quan hệ giữa đánh giá và vòng đời 5 Các yêu cầu quy trình đánh giá 5.1 Các yêu cầu chung 5.1.1 Tổ chức và hệ thống chất lượng 5.1.2 Các trách nhiệm người yêu cầu 5.1.3 Các trách nhiệm bên đánh giá 5.2 Thiết lập các yêu cầu đánh giá 5.2.1 Mục đích của thiết lập các yêu cầu đánh giá 5.2.2 Soạn thảo các yêu cầu đánh giá 5.2.3 Các nội dung của yêu cầu đánh giá 5.2.4 Phê chuẩn và báo cáo 5.3 Đặc tả của đánh giá 5.3.1 Mục đích của đặc t ả đánh giá 5.3.2 Soạn th ả o đặc tả đánh giá 5.3.2.1 Phân tích mô tả sản phẩm 5.3.2.2 Xác định các phép đo 5.3.2.3 Thẩm tra đặc t ả đánh giá 5.3.3 Các nội dung đặc tả đánh giá 5 3.4 Phê chuẩn và báo cáo 5.4 Thiết kế đánh giá 5 4.1 Mục đích của thiết kế đánh giá 5.4.2 Soạn thảo kế hoạch đánh giá 5.4.2.1 Soạn thảo các phương pháp đánh giá và tạo lập bản thảo k ế hoạch 5.4.2.2 Tối ưu các phép đo 5.4.2.3 Lập lịch các hành động đánh giá 5.4.3 Các nội dung của kế hoạch đánh giá 5.4.4 Phê chuẩn và báo cáo 5.5 Thực hiện đánh giá 5.5.1 Mục đích của thực hiện đánh giá 5.5.2 Thực hiện các hành động đánh giá 5.5.2.1 Quản lý các thành phần sản phẩm 5.5.2.2 Quản lý dữ liệu đánh giá 5.5.2.3 Quản lý sử dụng công cụ 5.5.2.4 Đánh giá tại hiện trường 5.5.2.5 Các yêu cầu kỹ thuật đánh giá cụ thể 5.5.3 Soát xét và báo cáo 5.6 Kết luận đánh giá 5.6.1 Mục đích của kết luận đánh giá 5 . 6.2 Soát xét chung báo cáo đánh giá 5.6.3 Sắ p đặt dữ liệu và tài liệu đánh giá Thư mục tài liệu tham khảo