Verifitseerimine ja valideerimine

Verifitseerimine ja valideerimine (lühendatult V&V) on sõltumatud protseduurid, mida kasutatakse koos kontrollimaks toote, teenuse või süsteemi vastavust nõuetele ja spetsifikatsioonidele ning ettenähtud otstarbele. Nad mõlemad on kvaliteedijuhtimissüsteemi, näiteks ISO 9000, kriitilised komponendid. Sõnadele "verifitseerimine" ja "valideerimine" eelneb mõnikord sõna "sõltumatu", mis juhib tähelepanu sellele, et verifitseerimise ja valideerimise peab läbi viima sõltumatu kolmas osapool. "Sõltumatu verifitseerimine ja valideerimine" võib lühendatud kujul olla tähistatud ka kui "SV&V" (inglise keeles IV&V). Tegelikult ei pruugi verifitseerimise ja valideerimise määratlused kvaliteedijuhtimise terminitena olla alati järjekindlad. Mõnikord kasutatakse neid isegi vaheldumisi. Elektri- ja Elektroonikainseneride Instituudi (IEEE) vastu võetud standard – PMBOK Guide (projektijuhtimise teadmuskogu juhend) – määratleb need oma 4. väljaandes järgmiselt: "Valideerimine. Kinnitus, et toode, teenus või süsteem vastab kliendi ja teiste määratletud sidusrühmade vajadustele. Sageli eeldab see ka väliste klientide heakskiitu. Vastupidi verifitseerimisele." "Verifitseerimine. Hinnang selle kohta, kas toode, teenus või süsteem vastab määrusele, nõudele, spetsifikatsioonile või kehtestatud tingimusele või mitte. Sageli on see sisemine protsess. Vastupidi valideerimisele." Verifitseerimise eesmärk on kontrollida, kas toode, teenus või süsteem vastab kõikidele kehtestatud nõuetele. Arendusfaasis kaasnevad verifikatsiooniprotseduuridega spetsiaalsete testide läbiviimised toote, teenuse või süsteemi osa või terviku modelleerimiseks või simuleerimiseks, millele järgneb modelleerimistulemuste ülevaatus või analüüs. Arendusjärgses etapis kaasnevad verifikatsiooniprotseduuridega regulaarselt läbiviidavad kordustestid, mis on spetsiaalselt välja töötatud tagamaks seda, et toode, teenus või süsteem vastaks aja jooksul jätkuvalt esialgsetele disaininõuetele, spetsifikatsioonidele ja eeskirjadele. See on protsess, mida kasutatakse selleks, et hinnata, kas toode, teenus või süsteem vastab arendusfaasi alguses kehtestatud eeskirjadele, spetsifikatsioonidele või tingimustele. Verifikatsioon võib olla vajalik nii arendus-, laiendamis- kui ka tootmisjärgus. See on sageli sisemine protsess. Valideerimise eesmärgiks on tagada, et toode, teenus või süsteem (või selle osa või komplekt) annaks väljundiks toote, teenuse või süsteemi (või selle osa või komplekti), mis vastaks kasutaja töö vajadustele. Uue arendusvoo või verifitseerimisvoo puhul võivad valideerimisprotseduurid sisaldada mõlema voo modelleerimist ja simulatsioonide kasutamist, et ennustada vigu või lünki, mis võiksid viia toote, teenuse või süsteemi (või selle osa või komplekti) kehtetu või mittetäieliku verifitseerimiseni või arenduseni. Valideerimisnõuete kogumit (nii nagu on määratlenud kasutaja), spetsifikatsioone ja eeskirju võib seejärel kasutada toote, teenuse või süsteemi (või selle osa või komplekti) arendusvoo või verifitseerimisvoo kvalifitseerimise alusena. Täiendavad valideerimisprotseduurid hõlmavad ka neid nõudeid, mis on spetsiaalselt välja töötatud selleks, et olemasolevasse sobivasse arendusvoogu või kontrollivoogu tehtud muudatused tagaksid toote, teenuse või süsteemi (või selle osa või komplekti) vastavuse esialgsetele nõuetele, spetsifikatsioonidele ja eeskirjadele; need valideerimisprotseduurid aitavad hoida voogu nõuetekohasena. Selline tõendite kogumise protsess võimaldab kindlustada seda, et toode, teenus või süsteem vastaks tõesti ettenähtud nõuetele. Sageli on selleks vaja nõusse saada ka lõppkasutajad ja muud toote sidusrühmad. See on sageli väline protsess. Mõnikord öeldakse, et valideerimist saab väljendada küsimusega "Kas sa ehitad õiget asja?" ja verifitseerimist küsimusega "Kas sa ehitad seda asja õigesti?". "Õige asja ehitamine" viitab kasutaja vajadustele, samas kui "õigesti ehitamine" kontrollib, et spetsifikatsioonid on süsteemis õigesti rakendatud. Mõnes kontekstis nõutakse neile mõlemale nii kirjalike nõuete kui ka formaalsete protseduuride või protokollide olemasolu vastavuse kindlakstegemiseks. On täiesti võimalik, et toode läbib verifitseerimise, kuid valideerimine ebaõnnestub. See võib juhtuda näiteks siis, kui toode on ehitatud vastavalt spetsifikatsioonidele, kuid spetsifikatsioonid seejuures ei vasta kasutaja vajadustele. Masinate ja seadmete verifitseerimine koosneb tavaliselt projekteerimiskvalifikatsioonist (DQ – design qualification), paigalduskvalifikatsioonist (IQ – installation qualification), käitamiskvalifikatsioonist (OQ – operational qualification) ja jõudluse kvalifikatsioonist (PQ – performance qualification). DQ-d võib teostada tarnija või kasutaja, kinnitades ülevaatuse ja testimise kaudu, et seadmed vastavad kirjalikele vastuvõtuspetsifikatsioonidele. Kui asjakohane dokument või masinate/seadmete juhendid esitatakse tarnijate poolt, tuleb hilisemad 3Q-d põhjalikult läbi viia kasutajatel, kes toimivad tööstuslikus regulatiivses keskkonnas. Vastasel juhul on IQ, OQ ja PQ protsessid juba valideerimise ülesanne. Sellise juhtumi tüüpiline näide võib olla tarnija dokumentatsiooni kadumine või puudumine pärandseadmete või tee-seda-ise (DIY) komplektide (nt autod, arvutid jne) puhul ja seetõttu peaksid kasutajad püüdma hankida endale need DQ dokumendid ette. DQ, IQ, OQ ja PQ malle võib tavaliselt leida Internetist, samas kui masinate/seadmete isetegemise kvalifikatsiooniks saab abi kas müüja koolituskursuste materjalidest ja juhenditest või avaldatud juhenditest, nagu näiteks üksikasjalised suunised, juhul kui masinate/seadmete soetamine ei ole seotud kohapealsete kvalifitseerimisteenustega. Selline tee-seda-ise lähenemine on rakendatav ka tarkvara, arvuti operatsioonisüsteemide ja tootmisprotsessi kvalifitseerimise puhul. Tegevuse viimase sammuna on kõige olulisem ja kriitilisem ülesanne masinate/seadmete kvalifikatsiooniaruannete genereerimine ja arhiveerimine auditeerimise eesmärgil, kui nõuete järgimine on kohustuslik. Masinate/seadmete kvalifitseerimine sõltub toimumiskohast, sealjuures eriti just toodete puhul, mis on põrutustundlikud ja vajavad tasakaalustamist või kalibreerimist, ning pärast ümberpaigutamist tuleb nad uuesti kvalifitseerida. Mõnede seadmete täielik kvalifitseerimine sõltub isegi ajast, kuna kulumaterjalid võivad olla ära kasutatud (näiteks filtrid) või vedrud välja veninud, mis nõuab seadmete ümberkalibreerimist ja seega on vajalik uuesti sertifitseerimine, kui määratud aeg kätte jõuab. Masinate/seadmete ümberkvalifitseerimine tuleks läbi viia ka osade väljavahetamisel või teise seadmega ühendamisel või uue rakendustarkvara installimisel ja arvuti ümberkorraldamisel, mis mõjutab eelkõige eelseadistusi, näiteks BIOS-is, registris, kettaseadmes partitsioonitabelis, dünaamiliselt lingitud (jagatud) teekides või INI-failis jne. Sellises olukorras tuleks kvalifikatsioonidokumendile lisada osade/seadmete/tarkvara spetsifikatsioonid ja ümberkorraldusettepanekud, olenemata sellest, kas osad/seadmed/tarkvara on ehtsad või mitte. Torres ja Hyman on arutanud mitteoriginaalsete osade sobivust kliiniliseks kasutamiseks ning andnud seadmete kasutajatele juhiseid sobivate asendajate valimisel, et nii vältida kahjulikke mõjusid. Juhul, kui mõned regulatiivsed nõuded nõuavad originaalosi/seadmeid/tarkvara, ei ole vaja mitteoriginaalsõlmede ümberkvalifitseerimist läbi viia. Selle asemel tuleb see vara võtta taaskasutusse mitteregulatiivseks otstarbeks. Kui masinate/seadmete kvalifitseerimist viib läbi standardselt kinnitatud kolmas osapool, näiteks ISO standardiga akrediteeritud ettevõte konkreetse osakonna jaoks, nimetatakse seda protsessi sertifitseerimiseks. Praegu on ISO/IEC 27001 järgi akrediteeritud organisatsioonide ISO/IEC 15408 sertifitseerimise katvus piiratud ning selle skeemi populariseerimiseks on vaja teha veel palju pingutusi. Valideerimistööd saab üldiselt kategoriseerida järgmiste funktsioonide järgi: Prospektiivne ehk tulevane valideerimine – toimingud, mis viiakse läbi enne uute toodete väljalaskmist, et veenduda kas toote soovitud omadused toimivad korralikult ja vastavad ohutusstandarditele. Mõned näited sellest võiksid olla näiteks seadusandlikud eeskirjad, juhised või ettepanekud, meetodid, teooriad/hüpoteesid/mudelid, tooted ja teenused. Tagasiulatuv valideerimine – protsess juba kasutusel ja levitamisel või tootmisel olevate toodete jaoks. Valideerimine toimub vastavalt kirjalikele spetsifikatsioonidele või ettemääratud ootustele, tuginedes nende ajaloolistele andmetele/tõenditele, mis on dokumenteeritud/salvestatud. Kui kriitilised andmed on puudu, ei saa tööd läbi viia või saab seda teha ainult osaliselt. See on vajalik, kui: prospektiivne valideerimine puudub, on ebapiisav või puudulik. seadusandlike regulatsioonide või standardite muudatus mõjutab avalikkuse ette või turule lubatavate toodete vastavust nõuetele. hakatakse taaskasutama kasutusest välja jäänud tooteid. Mõned näited valideerimise vajadusest: iidsed pühakirjad, mis on endiselt vastuolulised  kliiniliste otsuste reeglid andmesüsteemid Täielik valideerimine Osaline valideerimine – kasutatakse sageli uuringute ja pilootuuringute puhul, kui aeg on piiratud. Testitakse kõige tähtsamad ja olulisemad mõjud. Analüütilise keemia vaatenurgast on need mõjud selektiivsus, täpsus, korratavus, lineaarsus ja selle ulatus. Ristvalideerimine Kordusvalideerimine/kohalik või perioodiline valideerimine – viiakse läbi huvipakkuvale tootele, mis on kõrvale jäetud, parandatud, integreeritud/ühendatud, ümber paigutatud või pärast teatud aja möödumist. Selle kategooria näited võivad olla juhiloa uuesti litsentsimine/uuendamine, aegunud või ümberpaigutatud analüütilise tasakaalu taassertifitseerimine ja isegi spetsialistide uuesti valideerimine. Uuesti valideerimise võib läbi viia ka siis, kui/kus tegevuste käigus, näiteks teadusuuringute või kliiniliste uuringute üleminekufaaside käigus toimub muudatus. Nende muudatuste näited võivad olla näidismaatriksid tootmiskaalud populatsiooni profiilid ja suurused spetsifikatsioonist väljas (OOS i.k. out-of-specification) uuringud, mis on tingitud katsereagentide või laboriklaasi saastumisest, seadmete/aparaatidee vananemisest või seotud varade amortisatsioonist jne. GLP (i.k. Good Laboratory Practice) akrediteeritud laboreid kontrollitakse/revalideeritakse isegi väga sageli Euroopa farmakopöa ja rahvusvahelise farmakopöa monograafiate alusel rahvusvaheliste vajaduste rahuldamiseks või siis Ameerika Ühendriikide farmakopöa, Suurbritannia farmakopöa jne alusel riiklike vajaduste rahuldamiseks. Nendel laboritel peab olema kasutusel ka meetodi valideerimine. Samaaegne valideerimine – viiakse läbi rutiinse teenuste töötlemise, tootmise või inseneritöö jms käigus. Nende näideteks võivad olla dubleeritud proovianalüüs keemilise analüüsi jaoks kolmekordne proovianalüüs lisandite jälgede tuvastamise piiril ja/või kvantifitseerimispiiril ühe proovi analüüs keemilise analüüsi jaoks, mis on tehtud vilunud operaatori poolt koos korduvate võrgus toimuvate sobivustestidega Enim testitud atribuudid valideerimisülesannetes võivad hõlmata, kuid millega nad ei ole piiratud Tundlikkus ja spetsiifilisus Täpsus ja kordustäpsus Korratavus Reprodutseeritavus Avastamispiir – eriti mikroelementide puhul Kvantifitseerimise piir Kõvera sobitamine ja selle ulatus Süsteemi sobivus – laias laastus hõlmab see tavaliselt kaastööliste vahelise kokkusobivuse testi või organisatsioonisisese vastupidavuse testi USA Toidu- ja Ravimiamet (FDA) on aga konkreetselt kehtestanud selle oma administratsioonile, kuna "Süsteemi sobivuse testimine on paljude analüütiliste protseduuride lahutamatu osa. Testid põhinevad kontseptsioonil, et analüüsitavad seadmed, elektroonika, analüütilised operatsioonid ja proovid moodustavad tervikliku süsteemi, mida saab ka sellisena hinnata. Konkreetse protseduuri jaoks määratavad süsteemi sobivuse testi parameetrid sõltuvad valideeritava protseduuri tüübist." Mõne analüütilise keemia juhtumi puhul võib süsteemi sobivuse test olla pigem meetodispetsiifiline kui universaalne. Sellised näited on kromatograafiline analüüs, mis on tavaliselt tundlik kandja (kolonn, paber või kandev lahusti) suhtes Kuid kuni käesoleva artikli kirjutamise kuupäevani on seda tüüpi lähenemisviisid piirdunud vaid mõne üksiku farmatseutilise kompendiaalse meetodiga, mille puhul lisandite tuvastamine või analüüsitava katse kvaliteet on kriitilise tähtsusega (ehk see on elu ja surma küsimus). See on tõenäoliselt suuresti tingitud: nende suurest töömahukusest ja ajakulust nende piirangutest selle termini definitsiooniga, mis on määratletud erinevate standarditega. Seda tüüpi raskuste lahendamiseks annavad mõned reguleerivad asutused või meetodid nõu selle kohta, millal täpselt tuleks konkreetset süsteemi sobivuse testi kohaldada ja millal täpselt tuleks teha see kohustuslikuks. Need tingimused kehtivad üldiselt kõigis tööstusharudes ja institutsioonides. Lisaks võivad neil olla ka väga spetsiifilised tähendused ja nõuded konkreetsete toodete, eeskirjade ja tööstusharude jaoks. Mõned näited: Tarkvara ja arvutisüsteemid  Pikemalt artiklis Software verification and validation Toit ja ravimid Farmaatsiatooted. Ravimite väljatöötamine, tootmine ja turustamine on rangelt reguleeritud. See hõlmab ka tarkvarasüsteeme. Näiteks USA-s on toidu- ja ravimiametil eeskirjad föderaalmääruste koodeksi 21. osas. Nash et al. on avaldanud raamatu, mis annab põhjaliku ülevaate ravimite tootmisprotsesside valideerimise erinevatest teemadest. Mõned ettevõtted kasutavad oma GAMP -süsteemi valideerimisel riskipõhist lähenemisviisi, kui nad mõistavad regulatiivseid nõudeid väga hästi, samas kui enamik teisi järgib tavapärast protsessi See on osa GxP juhtimisest. Valideerimise ja kontrollimise aspektid on OOS-i ilmnemisel veelgi intensiivsemad ja rangemad. Väga sageli on sellisel juhul OOS-i uurimise läbiviimiseks katselaboris vaja mitmekordseid proovide analüüse. Meditsiiniseadmed FDA-l (21 CFR) on meditsiiniseadmete valideerimis- ja kontrollinõuded, nagu on kirjeldatud ASME V&V 40-s. Vaadake ka juhiseid: ja ISO 13485. Tootmisprotsessi ja puhastamise valideerimine on kohustuslikud ja neid reguleerib USA Toidu- ja Ravimiamet Toiduhügieen : näide Kliiniline laborimeditsiin : ISO 15198:2004 Kliiniline laborimeditsiin – In vitro diagnostikameditsiiniseadmed – kasutaja kvaliteedikontrolli protseduuride kinnitamine tootja poolt Tervishoid : näide Kasvuhoonegaas : ISO 14064 ANSI/ISO: Kasvuhoonegaasid – Nõuded kasvuhoonegaaside valideerimis- ja tõendamisasutustele kasutamiseks akrediteerimisel või muul tunnustamisel Liiklus ja transport Liiklusohutuse audit Mootorsõiduki perioodiline ülevaatus Lennuki müra: näide Lennuk : Mudel: (Ni-Cd) akude elemendid: näide IKT-tööstus: näide Tsiviilehitus Hooned – Teed – Sillad - Majandusteadus Raamatupidamine Põllumajandus – rakendused varieeruvad põllumajandusmetoodika ja tootmisprotsesside kontrollimisest põllumajanduse modelleerimise valideerimiseni Kinnisvara hindamine – auditi aruandlus ja autentimine Relvakontroll   Certification of voting machines Change control Comparability Data validation Formal verification Functional verification ISO 17025 Positive recall Process validation Software verification and validation Statistical model validation System testing Usability testing Validation master plan Verification and validation of computer simulation models Global Harmonization Task Force - Quality Management Systems - Process Validation Guidance (GHTF/SG3/N99-10:2004 (Edition 2) page 3 Ad Sparrius (2016). "Everything You Thought You Knew about Validation and Verification is Probably Dodgy" (PDF). 12th INCOSE SA Systems Engineering Conference. Originaali (PDF) arhiivikoopia seisuga 6. august 2018. Vaadatud 30. aprillil 2018. There are some authors who apparently regard these two terms as synonymous, others who seem to be only vaguely aware of the differences. Some even appear to believe that V&V is one word! ... There is such a fundamental difference between these models that the term validation has many years ago been selected to be different from the term verification. Nevertheless, it is debatable whether the distinction between validation and verification should be continued. James D. McCaffrey (28. aprill 2006). "Validation vs. Verification". Vaadatud 30. aprillil 2018. Two terms that sometimes confuse software test engineers are "validation" and "verification". ... Obviously the two IEEE definitions are so close to each other it’s hard to determine the difference. "Difference between Verification and Validation". Software Testing Class. 27. august 2013. Vaadatud 30. aprillil 2018. In interviews most of the interviewers are asking questions on "What is Difference between Verification and Validation?" Lots of people use verification and validation interchangeably but both have different meanings. "P1490/D1, May 2011 - IEEE Draft Guide: Adoption of the Project Management Institute (PMI) Standard: A Guide to the Project Management Body of Knowledge (PMBOK Guide)-2008". IEEE P1490/D1, May 2011 (4th ed.). IEEE: 452. Juuni 2011. DOI:10.1109/IEEESTD.2011.5937011 (mitteaktiivne 31. juuli 2022). Vaadatud 28. märtsil 2017.{{cite journal}}: CS1 hooldus: mitteaktiivne DOI seisuga 2022 (link) "Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010. | verification 5. ...product, service, or system complies with a regulation, requirement, specification, or imposed condition. {{citation}}: tühi viide (juhend) "Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010. | verification 6. ...comply with requirements (e.g., for correctness, completeness, consistency, and accuracy) for all life cycle activities during each life cycle process (acquisition, supply, development, operation, and maintenance) "Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010. | validation (especially 1. & 2.) Moradi, Mehrdad; Van Acker, Bert; Vanherpen, Ken; Denil, Joachim (2019). Chamberlain, Roger; Taha, Walid; Törngren, Martin (toim-d). "Model-Implemented Hybrid Fault Injection for Simulink (Tool Demonstrations)". Cyber Physical Systems. Model-Based Design. Lecture Notes in Computer Science (inglise). Cham: Springer International Publishing. 11615: 71–90. DOI:10.1007/978-3-030-23703-5_4. ISBN 978-3-030-23703-5. Barry Boehm, Software Engineering Economics, 1981 Analytical & Precision Balance Co. "Welcome". Vaadatud 18. märtsil 2008. Scientech. "External Calibration". Originaali arhiivikoopia seisuga 29. jaanuar 2020. Vaadatud 18. märtsil 2008. Torres, Rebecca E.; William A. Hyman (2007). "Replacement Parts-Identical, Suitable, or Inappropriate?". Vaadatud 29. märtsil 2008. AppLabs. "ISV, IHV Certification Programs". Originaali arhiivikoopia seisuga 16. veebruar 2008. Vaadatud 26. märtsil 2008. AppLabs. "AppLabs attains ISO27001:2005 accreditation". Originaali arhiivikoopia seisuga 12. märts 2008. Vaadatud 26. märtsil 2008. "Guideline on general principles of process validation". U.S. Food and Drug Administration. Originaali arhiivikoopia seisuga 6. juuni 2009. Vaadatud 12. juulil 2008. "Prospective validation". Groupe Novasep. Originaali arhiivikoopia seisuga 15. november 2008. Vaadatud 24. septembril 2008. Quinn, James; McDermott, D; Stiell, I; Kohn, M; Wells, G (2006). "Prospective Validation of the San Francisco Syncope Rule to Predict Patients With Serious Outcomes". Annals of Emergency Medicine. Elsevier. 47 (5): 448–454. DOI:10.1016/j.annemergmed.2005.11.019. PMID 16631985. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Sangiovanni, A.; Manini, M; Iavarone, M; Fraquelli, M; Forzenigo, L; Romeo, R; Ronchi, G; Colombo, M (2007). "Prospective validation of AASLD guidelines for the early diagnosis of epatocellular carcinoma in cirrhotic patients". Digestive and Liver Disease. Elsevier. 40 (5): A22–A23. DOI:10.1016/j.dld.2007.12.064. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Germing, U.; Strupp, C; Kuendgen, A; Isa, S; Knipp, S; Hildebrandt, B; Giagounidis, A; Aul, C; Gattermann, N (2006). "Prospective validation of the WHO proposals for the classification of myelodysplastic syndromes". Haematologica. 91 (12): 1596–1604. PMID 17145595. Originaali arhiivikoopia seisuga 12. november 2010. Vaadatud 24. septembril 2008. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Sciolla, Rossella; Melis, F; Sinpac, Group (2008). "Rapid Identification of High-Risk Transient Ischemic Attacks: Prospective Validation of the ABCD Score". Stroke. American Heart Association. 39 (2): 297–302. DOI:10.1161/STROKEAHA.107.496612. PMID 18174479. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Pfisterer, Matthias; Bertel, O; Bonetti, P; Brunnerlarocca, H; Eberli, F; Erne, P; Galatius, S; Hornig, B; Kiowski, W (2008). "Drug-eluting or bare-metal stents forlarge coronary vessel stenting? The BASKET-PROVE (PROspective Validation Examination) trial: Study protocol and design". American Heart Journal. Mosby-Year Book Inc. 115 (4): 609–614. DOI:10.1016/j.ahj.2007.11.011. PMID 18371466. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Van Geest-Daalderop, Johanna H. H.; Hutten, Barbara A.; Péquériaux, Nathalie C. V.; Levi, Marcel; Sturk, Augueste (2008). "Improvement in the regulation of the vitamin K antagonist acenocoumarol after a standard initial dose regimen: prospective validation of a prescription model". Journal of Thrombosis and Thrombolysis. Springer. 27 (2): 207–14. DOI:10.1007/s11239-008-0203-4. PMID 18270659. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Ames, D.; Keogh, A.M.; Adams, J.; Harrigan, S.; Allen, N. (1996). "Prospective validation of the EBAS-DEP – A short sensitive screening instrument for depression in the physically ill elderly". European Psychiatry. Elsevier. 11 (Supplement 4): 361s. DOI:10.1016/0924-9338(96)89148-6. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Kidwell, Chelsea S.; Starkman, S; Eckstein, M; Weems, K; Saver, JL (2000). "Identifying Stroke in the Field: Prospective Validation of the Los Angeles Prehospital Stroke Screen (LAPSS)". Stroke. American Heart Association. 31 (1): 71–76. DOI:10.1161/01.str.31.1.71. PMID 10625718. Vaadatud 24. septembril 2008. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend)[alaline kõdulink] U.S. Food and Drug Administration. "Ch. 4 PROCESS VALIDATION in Medical Device Quality Systems Manual". Food and Drug Administration. Vaadatud 6. augustil 2009. Groupe Novasep. "Retrospective validation". Originaali arhiivikoopia seisuga 15. november 2008. Vaadatud 24. septembril 2008. Hart, D.; S.W. Smith (2007). "Retrospective Validation of a Clinical Decision Rule to Safely Rule Out Subarachnoid Hemorrhage in Emergency Department Headache Patients". Annals of Emergency Medicine. 50 (3): S102–S103. DOI:10.1016/j.annemergmed.2007.06.388. Kluger, Michael D. (2001). "Retrospective Validation of a Surveillance System for Unexplained Illness and Death: New Haven County, Connecticut". American Journal of Public Health. 91 (8): 1214–1219. DOI:10.2105/AJPH.91.8.1214. PMC 1446748. PMID 11499106. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Fine, Leon G. (2003). "How to evaluate and improve the quality and credibility of an outcomes database: validation and feedback study on the UK Cardiac Surgery Experience". BMJ. 326 (7379): 25–28. DOI:10.1136/bmj.326.7379.25. PMC 139501. PMID 12511458. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Department of Health. "The White Paper Trust, assurance and safety: The regulation of health professionals". Originaali arhiivikoopia seisuga 5. oktoober 2012. Vaadatud 30. septembril 2008. Merkur, Sherry (2008). "Physician revalidation in Europe". Clinical Medicine. Royal College of Physicians. 8 (4): 371–6. DOI:10.7861/clinmedicine.8-4-371. PMC 4952927. PMID 18724601. Australian Pesticides & Veterinary Medicines Authority (2004). "Guidelines for the Validation of Analytical Methods for Active Constituent, Agricultural and Veterinary Chemical Products" (PDF). Originaali (PDF) arhiivikoopia seisuga 20. veebruar 2011. Vaadatud 12. juulil 2009. Bressolle, Françoise; Brometpetit, M; Audran, M (1996). "Validation of liquid chromatographic and gas chromatographic methods Applications to pharmacokinetics". Journal of Chromatography B. 686 (1): 3–10. DOI:10.1016/S0378-4347(96)00088-6. PMID 8953186. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Peptisyntha S.A. (2009). "Commercial scale production". Originaali arhiivikoopia seisuga 31. mai 2009. Vaadatud 12. juulil 2009. del Rosario Alemán, María (2007). "Downstream Processing: A Revalidation Study of Viral Clearance in the Purification of Monoclonal Antibody CB.Hep-1". Originaali arhiivikoopia seisuga 11. juuli 2011. Vaadatud 12. juulil 2009. El Eman, Khaled; Brown, A; Abdelmalik, P (2009). "Evaluating Predictors of Geographic Area Population Size Cut-offs to Manage Re-identification Risk". Journal of the American Medical Informatics Association. 16 (2): 256–266. DOI:10.1197/jamia.M2902. PMC 2649314. PMID 19074299. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Tollman, Stephen M; Kahn, Kathleen; Sartorius, Benn; Collinson, Mark A; Clark, Samuel J; Garenne, Michel L (2008). "Implications of mortality transition for primary health care in rural South Africa: a population-based surveillance study". Journal of the American Medical Informatics Association. 372 (9642): 893–901. DOI:10.1016/S0140-6736(08)61399-9. PMC 2602585. PMID 18790312. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) United States Department of Health & Human Services (2009). "Warning Letter (WL No. 320-08-04)" (PDF). Food and Drug Administration. Vaadatud 12. juulil 2009. Health Canada (2004). "Validation Guidelines for Pharmaceutical Dosage Forms (GUIDE-0029)". Vaadatud 12. juulil 2009. Food and Drug Administration (mai 2001). "Guidance for Industry: Bioanalytical Method Validation" (PDF). Food and Drug Administration. Vaadatud 12. juulil 2009. Method Validation; "Method Validation". Originaali arhiivikoopia seisuga 11. september 2011. Vaadatud 19. septembril 2011. Health Sciences Authority. "Guidance Notes on Analytical Method Validation: Methodology" (PDF). Originaali (PDF) arhiivikoopia seisuga 18. veebruar 2012. Vaadatud 29. septembril 2008. Heyden, Y. Vander; S.W. Smith (2001). "Guidance for robustness/ruggedness tests in method validation". Journal of Pharmaceutical and Biomedical Analysis. Elsevier. 24 (5–6): 723–753. DOI:10.1016/S0731-7085(00)00529-X. PMID 11248467. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Ermer, Joachim; John H. McB. Miller (2005). Method Validation in Pharmaceutical Analysis: A Guide to best Practice. Wiley-VCH. Lk 418. ISBN 978-3-527-31255-9. "Calibration of dissolution test apparatus (USP apparatus 1 and 2) – SOP". {{cite web}}: puuduv või tühi |url= (juhend) Szsz, Gy.; Gyimesi-Forrás, K.; Budvári-Bárány, Zs. (1998). "Optimized and Validated HPLC Methods for Compendial Quality Assessment. III. Testing of Optical Purity Applying 1-Acid-Glycoprotein Stationary Phase". Journal of Liquid Chromatography & Related Technologies. 21 (16): 2535–2547. DOI:10.1080/10826079808003597. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Agilent. "System suitability testing for Aripiprazole quality control with the Agilent 1120 Compact LC and ZORBAX C-18 columns" (PDF). Originaali (PDF) arhiivikoopia seisuga 5. veebruar 2015. Vaadatud 29. juunil 2009. Li, Yong-guo; Chen, M; Chou, GX; Wang, ZT; Hu, ZB (2004). "Ruggedness/robustness evaluation and system suitability test on United States Pharmacopoeia XXVI assay ginsenosides in Asian and American ginseng by high-performance liquid chromatography". Journal of Pharmaceutical and Biomedical Analysis. 35 (5): 1083–1091. DOI:10.1016/j.jpba.2004.04.005. PMID 15336355. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) 日本药局方. "Japanese Pharmacopoeia". Originaali arhiivikoopia seisuga 9. aprill 2008. Vaadatud 29. juunil 2009. "Optimizing fault injection in FMI co-simulation through sensitivity partitioning | Proceedings of the 2019 Summer Simulation Conference" (inglise). 22. juuli 2019: 1–12. Vaadatud 15. juunil 2020. {{cite journal}}: viitemall journal nõuab parameetrit |journal= (juhend) Moradi, Mehrdad, Bentley James Oakes, Mustafa Saraoglu, Andrey Morozov, Klaus Janschek, and Joachim Denil. "Exploring Fault Parameter Space Using Reinforcement Learning-based Fault Injection." (2020). "GUIDELINE ON GENERAL PRINCIPLES OF PROCESS VALIDATION". FDA. Mai 1987. Originaali arhiivikoopia seisuga 6. juuni 2009. Nash, Robert A.; et al. (2003). Pharmaceutical Process Validation: An International Third Edition. Informa Healthcare. Lk 860. ISBN 978-0-8247-0838-2. De Caris, Sandro; et al. "Risk-based equipment qualification: a user/supplier cooperative approach" (PDF). Vaadatud 15. juunil 2008. Ocampo, Arlene; Lum, Steven; Chow, Frank (2007). "Current challenges for FDA-regulated bioanalytical laboratories for human (BA/BE) studies. Part I: defining the appropriate compliance standards – application of the principles of FDA GLP and FDA GMP to bioanalytical laboratories". The Quality Assurance Journal. John Wiley & Sons. 11 (1): 3–15. DOI:10.1002/qaj.399. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) "Guidance for Industry: Investigating Out-of-Specification (OOS) Test Results for Pharmaceutical Production" (PDF). Food and Drug Administration. 2006. Vaadatud 12. juulil 2009. "Guidance for Industry: Cybersecurity for Networked Medical Devices Containing Off-the Shelf (OTS) Software" (PDF). Food and Drug Administration. 14. jaanuar 2005. Vaadatud 12. juulil 2009. "General Principles of Software validation; Final Guidance for Industry and FDA Staff" (PDF). Food and Drug Administration. 11. jaanuar 2002. Vaadatud 12. juulil 2009. "Guidance for Industry and FDA Staff: Medical Device User Fee and Modernization Act of 2002, Validation Data in Premarket Notification Submissions (510(k)s) for Reprocessed Single-Use Medical Devices" (PDF). Food and Drug Administration. 25. september 2006. Vaadatud 12. juulil 2009. "Guideline on general principles of process validation". Food and Drug Administration. Mai 1987. Originaali arhiivikoopia seisuga 20. juuli 2009. Vaadatud 12. juulil 2009. "Guide to inspections validation of cleaning processes". Food and Drug Administration. Juuli 1993. Vaadatud 12. juulil 2009. Nassani, Mowafak. "Cleaning validation in the pharmaceutical industry". Originaali arhiivikoopia seisuga 31. mai 2012. Vaadatud 20. märtsil 2008. Bharadia, Praful D.; Jignyasha A. Bhatt. "A review of current implementation strategies for validation of cleaning processes in the pharmaceutical industry". Originaali arhiivikoopia seisuga 31. mai 2012. Vaadatud 20. märtsil 2008. "Discussion Paper on Proposed Draft Guidelines for the Validation of Food Hygiene Control Measures" (PDF). Originaali (PDF) arhiivikoopia seisuga 11. oktoober 2010. Vaadatud 10. veebruaril 2011. "Archived copy" (PDF). Originaali (PDF) arhiivikoopia seisuga 12. oktoober 2007. Vaadatud 14. juunil 2008.{{cite web}}: CS1 hooldus: arhiivikoopia kasutusel pealkirjana (link) "Archived copy" (PDF). Originaali (PDF) arhiivikoopia seisuga 27. september 2007. Vaadatud 7. septembril 2007.{{cite web}}: CS1 hooldus: arhiivikoopia kasutusel pealkirjana (link) "Service Unavailable". Originaali arhiivikoopia seisuga 13. oktoober 2007. Manzo, M.A.; Strawn, D.M.; Hall, S.W. (7. august 2002). "Aerospace nickel-cadmium cell verification-final report". Sixteenth Annual Battery Conference on Applications and Advances. Proceedings of the Conference (Cat. No.01TH8533). Lk 59–66. DOI:10.1109/BCAA.2001.905101. ISBN 978-0-7803-6545-2. "Improving the efficiency of verification and validation". Inderscience.com. Vaadatud 19. septembril 2011. Masako, Tsujimoto. "Verification of genetic recombination by hypha fusion of Pyricularia oryzas using transducing gene as marker. (the Ministry of Agriculture, Forestry and Fisheries Natl. Agricultural Res. Center S)". Originaali arhiivikoopia seisuga 17. veebruar 2012. Vaadatud 20. märtsil 2008. Vollmer-Sanders, Carrie Lynn; et al. "Implications of the Voluntary Michigan Agriculture Environmental Assurance Program (MAEAP) Verification on Livestock Operations, 2000–2004". Originaali arhiivikoopia seisuga 11. juuli 2011. Vaadatud 20. märtsil 2008. Haboudane, Driss (2004). "Hyperspectral vegetation indices and novel algorithms for predicting green LAI of crop canopies: Modeling and validation in the context of precision agriculture". Accreditation and Quality Assurance. Elsevier. 90 (3): 337–352. Bibcode:2004RSEnv..90..337H. DOI:10.1016/j.rse.2003.12.013. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Thorp, Kelly; et al. "Using cross-validation to evaluate ceres-maize yield simulations within a decision support system for precision agriculture". Vaadatud 20. märtsil 2008. Randolph, Susan. "Monitoring the Realization of the Right to Food: Adaptation and Validation of the U.S. Department of Agriculture Food Insecurity Module to Rural Senegal". Economic Rights Working Papers. 6. Vaadatud 20. märtsil 2008. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend) Pruitt, Kirk; Ryan Paul Chamberlain. "Method and system for authenticating appraisal reports". Originaali arhiivikoopia seisuga 29. juuni 2011. Vaadatud 15. septembril 2008. Majcen, N.; Taylor, P. (2010). Practical examples on traceability, measurement uncertainty and validation in chemistry. Kd 1. European Union. Lk 217. ISBN 978-92-79-12021-3. Maturity of verification and validation in ICT companies Organisational maturity and functional performance