מקובל לחשוב שלמגבלות המוסכמות החברתיות אינה קשורה לתקפות הניסוי. זה לא מדויק. לניסוי שעריכתו מעוררת תהיות מוסריות יש גם בעיית תקפות. קשה לנהל דיון מדעי שקול כשמדווחים על תוצאות ניסוי עם נקודות תורפה אתיות. כמו כן קשה לחזור על ניסוי לא אתי כאשר מפקפקים בתוצאותיו. עריכת ניסוי כזה אינה פשוטה מלכתחילה משום שאישור לעריכתו מצריך ויכוח ממושך עם ועדת האתיקה של מוסד המחקר וחזרה עליו תדרוש ויכוח חריף עוד יותר. מעבר לזאת, חלק מהאנשים המפקפקים בתוצאות ניסוי כזה לא יחזרו עליו מטעמי מצפון ואחרים לא יחזרו עליו כי יפחדו להתמודד עם תביעות או התנכלויות.
דוגמה לניסוי שאי אפשר לחזור עליו מנסיבות אתיות הוא ניסוי הכלא של זימברדו.
הדגמה לברירת תאוריות.
שיטת ניסוי המקובלת בעיקר בפיזיקה. במקרה בו יש להחליט איזו מבין שתי השערות סותרות על אודות חוקי הטבע היא ההשערה הנכונה, מבצעים פעולה שהתוצאה שלה מראה בבירור איזו מבין שתי ההשערות נכונה. לדוגמה: ניסוי רתרפורד הוא ביצוע של פעולה שמוכיח את קיום גרעין האטום וסותר את השערת אי קיום גרעין האטום.
ניסויים מבוקרים.
השערות רבות במדע, בפיזיקה למשל, יכולות לבסס קשר סיבתי בין גורמים בכך שהן מצביעות על העובדה כי עד אשר לא מתרחשת תופעה מסוימת, לא קורה דבר אחר וכי כאשר התופעה מתרחשת, ניתן לצפות באותה תופעה אחרת. מצבים כאלה נדירים במדע.
לדוגמה, יש בדיחה ישנה ולפיה מישהו טוען כי מרעיש כדי להרחיק ממנו את הטיגריסים ומיד מצדיק את התנהגותו באמירה: "אתה רואה, זה עובד!" בעוד ש"ניסוי" זה איננו מפריך את ההשערה כי "השמעת רעש מרחיקה טיגריסים", הוא גם איננו תומך בהשערה ולפיה: אי-השמעת רעש איננה מרחיקה את הטיגריסים.
כדי להדגים השערה בדבר קשר סיבתי בין אירועים, הניסוי חייב להראות כי, לדוגמה, תופעה מסוימת מתרחשת לאחר שניתן לנבדק טיפול מסוים וכי התופעה איננה מתרחשת בהיעדר אותו טיפול. (ראו שיטת בייקון).
ניסוי מבוקר משווה בדרך כלל בין התוצאות שהתקבלו בדגימת הניסוי (או קבוצת הניסוי) לבין התוצאות שהתקבלו בדגימת הבקרה (או קבוצת הבקרה), שהיא זהה בכל לדגימת הניסוי להוציא את אותו גורם שאת השפעתו אנחנו מבקשים לבדוק. ניסויים בתרופות הם דוגמה טובה לשיטת ניסוי זו. קבוצת הניסוי היא הקבוצה המקבלת את התרופה, בעוד שקבוצת הבקרה תקבל פלצבו. בניסויי מעבדה רבים רצוי לבצע את הניסוי על דגימות חוזרות ולקיים דגימות בקרה חיוביות ודגימות בקרה שליליות. את התוצאות המתקבלות מדגימות הניסוי החוזרות ניתן בדרך כלל לחשב בממוצע, או במידה ותוצאות אחת הדגימות החוזרות חורגת במידה ברורה מן הדגימות האחרות, ניתן להתעלם ממנה כתוצאה של טעות בניסוי (ייתכן שפסחנו על צעד ניסויי כלשהו בדגימה זו). לעיתים, חוזרים על אותו ניסוי פעמיים ושלוש, כדי להגביר את תוקף התוצאות.
דגימת בקרה חיובית עוברת הליך הדומה מאוד לניסוי עצמו, אבל זהו הליך שידוע מניסויים קודמים כי יניב תוצאה חיובית. בקרה שלילית היא הליך שידוע כי יניב תוצאה שלילית. הבקרה החיובית מאששת את ההנחה כי תנאי הניסוי הם כאלה שניתן היה לקבל תוצאה חיובית, אפילו אף לא אחת מדגימות הניסוי עצמו הניבה תוצאה חיובית. הבקרה השלילית מדגימה את התוצאות המתקבלות כאשר הניסוי אינו מניב את התוצאה החיובית. לעיתים קרובות מתייחסים לבקרה השלילית כאל תוצאת "רקע" שאותה יש להפחית מן התוצאות המתקבלות מדגימות הניסוי.
ניתן לבצע ניסויים מבוקרים אף בתנאים שבהם קשה לשלוט על כל משתני הניסוי. במקרה כזה הניסוי נפתח ביצירת שתי קבוצות (או יותר) של דגימות השוות מבחינה הסתברותית. זאת אומרת, שמדידות של תכונות שונות בין שתי הקבוצות נמצאו זהות והקבוצות מגיבות באופן זהה לאותו טיפול. הזהות הזו בין הקבוצות נקבעת בשיטות סטטיסטיות הלוקחות בחשבון את מידת השונות בין היחידים וכן את מספר היחידים בכל קבוצה. בשטחים מדעיים כמו מיקרוביולוגיה וכימיה, שבהם כמעט ולא קיימים הבדלים בין יחידים בקבוצות מדגם, וגודל קבוצות המדגם מורכב ממיליוני יחידות (למשל, מולקולות, או חיידקים), ניתן לפסוח על שיטות סטטיסטיות אלה מתוך ההנחה כי די בחלוקת המדגם לשתי קבוצות מדגם (ניסוי ובקרה) ובכך השגנו שתי דגימות זהות. לעומת זאת, בניסויים על בני-אדם, נדרשת בדרך כלל הקצאה אקראית (RCT) כדי לקבל קבוצות דומות מספיק בתחילת הניסוי.
מרגע שבידינו שתי דגימות זהות, מהלך הניסוי מתוכנן כך שהן תקבלנה תנאים זהים בדיוק, להוציא משתנה בודד, שאותו אנו חפצים לבדוק. ניסויים בבני אדם דורשים שימוש באמצעי זהירות מיוחדים כדי לשלוט בגורמים חיצוניים, כגון אפקט הפלצבו. ניסויים כאלה הם בדרך כלל עם סמיות כפולה. זאת אומרת, שגם הנבדק וגם החוקר אינם יודעים מי מהנבדקים משתייך לקבוצת הניסוי ומי מהם לקבוצת הבקרה, אלא לאחר שהסתיים הניסוי וכל המידע הרצוי נאסף. אמצעי בקרה זה מבטיח שההשפעה היחידה על הנבדק תהיה כתוצאה מן הטיפול הניתן ולא כתוצאה מתגובה לידיעה שהוא מטופל בתרופה הניסיונית.
ניסוי מבוקר דל משתתפים.
שיטת ניסוי בבני אדם המקובלת כאשר קשה לגייס מדגם גדול, קרויה ABA. לתוצאות מחקר בשיטה זו יש כושר שכנוע טוב. אולם, היות ששיטת ניסוי זו צעירה יחסית, טרם פותחו הכלים לניתוח המובהקות הסטטיסטית שלה. בשיטה זו מחפים על המחסור במשתתפים על ידי עריכת תצפיות רבות על כל משתתף והתערבות מניפולטיבית בזמנים שונים, כך שכל משתתף משמש לעיתים בתור "קבוצת הניסוי" ולעיתים בתור "קבוצת הביקורת". המצב בו נלקחות תצפיות לפני ההתערבות קרוי מצב A והמצב בו נלקחות תצפיות אחרי ההתערבות קרוי B. השיטה קרויה ABA למרות שלמרבית הניסויים בה מתאים יותר לקרוא AB משום שמצב A אינו משוחזר בהם אחרי שמגיעים למצב B.
לדוגמה: בדיקת ההשערה על פיה מתן רשות לאסירים לשהות על גג בית הכלא מורידה את הפוטנציאל שלהם לאלימות. שהייה על גג בית הכלא אינה מקובלת בשל הפחד שהיא תספק לאסירים הזדמנות לברוח מהמאסר. עריכת ניסוי המוני שכולל עליית אסירים לגג הכלא, לא באה בחשבון. אולם, אם יימצא נימוק טוב לאפשר לאסירים לשהות שם, ייתכן שהשהייה שם תהיה מקובלת יותר.
מערך הניסוי: בוחרים שלושה אסירים אלימים ועורכים עליהם תצפית. במהלך התצפית רושמים את מספר ההתפרצויות האלימות שיש לכל אחד מהם בשבוע. כאשר מגיעים למצב בו ברור מה ממוצע ההתפרצויות האלימות השבועי שלהם, מאפשרים לאחד מהם לשהות על גג הכלא במשך רבע שעה בכל יום. אם מתגלה שממוצע ההתפרצויות האלימות שלו ירד דרמטית, ממתינים עד להתייצבות הממוצע החדש ומאפשרים גם לאסיר השני לשהות על גג הכלא במשך רבע שעה בכל יום. כאשר ממוצע ההתפרצויות האלימות השבועי של שני האסירים שמורשים לעלות לגג מתייצב על ערך נמוך, חוזרים על ההתערבות הניסויית עם האסיר השלישי. כאשר גם ממוצע ההתפרצויות שלו מתייצב על ערך נמוך בהרבה משהיה לפני ההתערבות הניסויית, ניתן לסיים את הניסוי במסקנה שבשלושה מקרים בלתי תלויים העלייה לגג הורידה את הנטייה לאלימות. אפשרות אחרת, היא להמשיך את הניסוי ולשלול את זכות העלייה לגג מהאסירים – כל אחד בתורו ולהוכיח שהם חוזרים להיות אלימים.
וריאציה על השיטה נקראת ABAB ויש בה שלב B נוסף אחרי שלב ה-A השני. וריאציה נוספת היא ABA - BAB. דהיינו, חלק מהמשתתפים עוברים את שלבי הניסוי לפי סדר אחד וחלק לפי סדר שני.
ניסויים מבוקרים למחצה.
ניסויים מבוקרים למחצה הם ניסויים שבאופן ברור עומדים בחלק מדרישות התקפות של ניסויים מבוקרים. ניסויים אלה מקובלים בתחומי מחקר בהם לא חייבים להסתפק בתצפיות אולם כמעט בלתי אפשרי לערוך ניסויים מבוקרים. דוגמה לתחום כזה - פיתוח תוכניות לימודים. אי אפשר להשוות את יעילותה של שיטה חדשה ללימוד החשבון בבתי הספר היסודיים ליעילותה של השיטה הישנה בעזרת ניסוי מבוקר, אולם אינך חייב להסתפק בתצפית כדי לחקור את ההבדלים בין השיטות.
אי אפשר לערוך ניסוי מבוקר על אודות שיטות הוראת חשבון במעבדה. חיות מעבדה לא יכולות להיות מודל מוצלח לתלמידים הלומדים חשבון וכליאת תלמידים במשך כמה חודשים במעבדה נוגדת את החוק ואת כללי האתיקה והמוסר. מעבר לזאת, קשה מאוד לערוך ניסוי כזה במדגם מקרי של תלמידים - חלוקה של תלמידים באופן מקרי לשתי כיתות שבכל אחת מהן תונהג שיטת הוראה אחרת במשך כמה חודשים, היא משימה קשה לביצוע. חוקר חינוך לא יכול להגיע לבית ספר ולדרוש מצוות ההוראה לחלק מחדש את התלמידים לכיתות כדי לבצע את הניסוי שלו. מה גם שניסוי מבוקר דורש שאותו מורה ילמד את שתי הכיתות ובכל אחת מהן יעשה זאת בעזרת שיטה שונה.
בתחום החינוך מקובל לבצע ניסויים מסוג זה על ידי בחירה מקרית של שתי כיתות קיימות באותו בית ספר. ניסוי כזה נחשב לניסוי חצי מבוקר כי חוקר החינוך לא שולט בהרבה פרמטרים חשובים הקשורים לניסוי. החוקר לא שולט בזהות המורים. הוא אינו שולט בחלוקה של התלמידים לכיתות. הוא אינו יכול לוודא שמנהל בית הספר אינו דואג לתת תגבור לכיתה שהישגיה נמוכים יותר. הוא אינו יכול לוודא שהורי התלמידים הלומדים בשיטה שפחות מצליחה אינם שולחים אותם למורים פרטיים אחרי הצוהריים וכיוצא בזה.
אף על פי כן, לניסוי חצי מבוקר יש יכולת טובה יותר לקבוע סיבה ומסובב מאשר לתצפית. חוקר המשווה שיטות הוראה בעזרת תצפית, יתקשה למצוא שתי כיתות מאותו בית ספר שלמדו בשתי שיטות שונות בו אותו זמן.
ניסויי שדה.