בתקופת שלטונו של אדוארד השני (1307–1327) הייתה פעילות מועטה במצודה, אם כי בתקופה זו נוסדה המלתחה המלכותית. מוסד זה שכן במצודה, והיה אחת מהזרועות השלטוניות שארגנו את משק הבית האישי של המלך. מרגרט דה קלאר, ברונית בדלסמר, הייתה האישה הראשונה שנכלאה במצודה לאחר שסירבה לאפשר למלכה איזבלה להיכנס לטירת לידס, והורתה לקשתים שלה לפתוח באש על פמלייתה המלכותית של איזבלה, וכתוצאה מכך נהרגו שישה ממלוויה של המלכה. המצודה הפכה לבית הכלא המלכותי החשוב ביותר במדינה, ובדרך כלל נשמרה לאסירים ידועי שם. עם זאת, היא לא הייתה מקום בעל רמת אבטחה גבוהה מהרגיל, ולאורך ההיסטוריה שלה הצליחו אסירים שנכלאו בה לשחד את השומרים על מנת שיסייעו להם לברוח. ב-1322 הצליח רוג'ר מורטימר, הרוזן הראשון ממארץ', לשחד את סגן מפקד המצודה על מנת שזה יסייע לו לברוח ויאפשר לאנשיו להיכנס. אנשיו של הרוזן קדחו חור בקיר התא שלו, והוא נמלט על סיפונה של סירה שהמתינה לו. הוא ברח לצרפת, ובה פגש במלכתו של אדוארד. הם החלו ברומן, וזממו להדיח את המלך. אחת מפעולותיו הראשונות של מורטימר כאשר שב לאנגליה הייתה כיבוש המצודה ושיחרור כל האסירים שנכלאו בה. במשך שלוש שנים הוא שלט בממלכה מאחר שאדוארד השלישי היה צעיר מדי; ב-1330 הצליחו אדוארד ותומכיו ללכוד את מורטימר, וכלאו אותו במצודה. תחת שלטונו של אדוארד השלישי (1312–1377) חוותה אנגליה תקופה של הצלחה במלחמותיה, לאחר שבתקופת שלטונו של אביו חלה דעיכה במלחמות מול צרפת ומול סקוטלנד. בין הצלחותיו של אדוארד ניתן למנות את קרב פואטייה ואת קרב קרסי, שבהם נלקח בשבי המלך הצרפתי ז'אן השני, ואת לכידתו של המלך הסקוטי דייוויד השני בקרב נוויל'ז קרוס. בתקופה זו שימשה המצודה כבית כלא עבור אצילים רבים שנשבו במהלך המלחמה. אדוארד השני לא התייחס כמעט להתדרדרות במצבה הפיזי של המצודה, ובתקופת שלטונו של אדוארד השלישי היא כבר הייתה מקום בלתי נוח לחלוטין. האצילים שהוחזקו בשבי במצודה לא יכלו לעסוק בפעילויות כגון ציד, שהיו מותרות בטירות מלכותיות אחרות ששימשו כבית כלא, כגון טירת וינדזור. אדוארד השלישי ציווה לחדש ולשפץ את המצודה.
כאשר ריצ'רד השני הוכתר ב-1377 הוא הוביל תהלוכה מהמצודה למנזר וסטמינסטר. מסורת זו החלה לכל המאוחר בשלהי המאה ה-14 ונמשכה עד 1660. במהלך מרד האיכרים ב-1381 הייתה המצודה נתונה למצור כשהמלך בתוכה. כאשר ריצ'רד יצא מהמצודה על מנת להיפגש עם ווט טיילר, מנהיג המורדים, פרץ המון זועם לתוך המצודה ללא התנגדות כלשהי, ובזז את בית התכשיטים. הארכיבישוף מקנטרברי, סיימון סדברי, מצא מקלט בקפלת יוחנן הקדוש, וקיוו שהאספסוף הזועם יכבד את קדושת המקום. אולם, הוא הוצא בכוח מהקפלה והוצא להורג בעריפת ראש על גבי גבעת המצודה. שש שנים לאחר מכן נוצרה מתיחות נוספת עם האזרחים, וריצ'רד החליט לבלות את חג המולד במצודה הבטוחה ולא בטירת וינדזור כפי שהיה נהוג. ב-1399 חזר הנרי בולינגברוק מגלות, וריצ'רד נכלא במגדל הלבן. הוא ויתר על כיתרו והוחלף על ידי בולינגברוק, שהפך למלך הנרי הרביעי. במאה ה-15 כמעט ולא בוצעו במצודה עבודות בנייה, אך היא נותרה מקום מקלט חשוב. כאשר תומכיו של ריצ'רד השני המנוח ניסו לבצע הפיכה הפך הנרי הרביעי את המצודה למקום המקלט שלו. בתקופה זו נכלאו במצודה אישים ידועים אחדים. יורש העצר של הכתר הסקוטי, לימים ג'יימס הראשון, מלך סקוטלנד, נחטף במהלך סיור שערך בצרפת ב-1406, והוחזק במצודה. בתקופת שלטונו של הנרי החמישי (1413–1422) שפר מזלה של אנגליה במלחמת מאה השנים נגד צרפת. כתוצאה מניצחונותיו של הנרי, כגון קרב אז'נקור, הוחזקו במצודה אסירים רבים בעלי מעמד חברתי גבוה עד שהכופר תמורתם שולם.
האירועים הבולטים במחצית השנייה של המאה ה-15 היו מלחמות השושנים בין בית לנקסטר ובין בית יורק, שטענו שניהם לזכותם על הכתר האנגלי. ב-1460 הטילו כוחות יורקיים מצור על המצודה. המצודה נפגעה מאש ארטילרית, ונכנעה רק כאשר הנרי השישי נשבה בקרב נורת'האמפטון. בסיועו של רוזן ווריק (שנודע בכינוי "ממליך המלכים"), תפס הנרי את השלטון מחדש למשך זמן קצר ב-1470. אולם, תוך זמן קצר הצליח אדוארד הרביעי לתפוס את השלטון מחדש והנרי נכלא במצודה, שבה ככל הנראה נרצח. במהלך המלחמות בוצרה המצודה כך שהיא תוכל לעמוד בפני אש חיה, ודרומית לגבעת המצודה הוקם מתחם סגור שהיה מיועד לעמדות תותחים ורובאים. מתחם זה אינו קיים יותר.
הדעה המקובלת היא כי זמן קצר לאחר מותו של אדוארד הרביעי ב-1483 אירע הרצח הנודע לשמצה של הנסיכים שבמצודה. אירוע זה הוא אחד הידועים ביותר לשמצה שנקשרו בתולדות המצודה. דודו של אדוארד החמישי, הדוכס ריצ'רד מגלוסטר, הוכרז כלורד פרוטקטור מאחר שהנסיך היה צעיר מכדי לשלוט בעצמו. אדוארד בן ה-12 אולץ להישאר במצודה ביחד עם אחיו הצעיר ריצ'רד. הדוכס מגלוסטר הוכתר כמלך ריצ'רד השלישי ביולי. הנסיכים נראו לאחרונה לעיני הציבור ביוני 1483; הסיבה הסבירה ביותר להיעלמותם היא שהם נרצחו בשלהי קיץ 1483. עצמות שנחשבו כשייכות לנסיכים התגלו ב-1674 כאשר נהרס מבנה מהמאה ה-12 ששכן בכניסה למגדל הלבן. ההתנגדות לריצ'רד נמשכה עד לתבוסתו ב-1485 בקרב בוסוורת' מידיו של הנרי טיודור הלנקסטרי, שעלה לשלטון כמלך הנרי השביעי.
שינוי ייעוד המצודה.
בתחילת תקופת שלטונו של בית טיודור פחת השימוש במצודה כמקום מגורים מלכותי. כותב הכרוניקות רפאל הולינשד מהמאה ה-16 כתב כי המצודה הפכה למקום אחסון של כלי נשק ותחמושת, וכן לבית כלא. היאומן וורדרס שימשו כמשמר המלכותי ככל הנראה מאז 1509. במהלך שלטונו של הנרי השמיני הוחלט כי המצודה צריכה לעבור שיפוצים משמעותיים על מנת לחזק את הגנותיה. ב-1532 הוציא תומאס קרומוול 3,593 לירות שטרלינג על תיקונים, וייבא כמעט 3,000 טון של אבנים מאזור העיר קן שבצפון צרפת. אולם, גם העבודות הללו לא הספיקו כדי להתאים את המצודה לתקני הביצורים הצבאיים של אותה תקופה, שהיו אמורים לעמוד בפני ארטילריה חזקה. לאחר מותו של הנרי השמיני תוקנו ביצורי המצודה, אך מבני הארמון נותרו במצב של הזנחה. מצבם היה כה גרוע עד שהם לא היו ראויים למגורי אדם. החל מ-1547 שימשה המצודה כמקום מגורים מלכותי רק כאשר סמליותה הפוליטית וההיסטורית הייתה עשויה להביא תועלת. לדוגמה, אדוארד השישי, מרי הראשונה, ואליזבת הראשונה (שלושת ילדיו של הנרי השמיני) התגוררו במצודה לפני הכתרתם.
במהלך המאה ה-16 רכשה לעצמה המצודה מוניטין של בית כלא מעורר יראה ואפל, אך לא באופן קבוע. מאחר שהייתה טירה מלכותית שימשה המצודה את המונרכים השונים לכלוא בה אנשים מסיבות מגוונות, אם כי בדרך כלל היה מדובר באישים רמי-מעלה ולא באזרחים פשוטים שנכלאו בבתי הכלא האחרים של המדינה. האסירים במצודה יכלו לשפר את תנאי חייהם באמצעות רכישת הטבות כגון מזון טוב יותר או אפילו גובלנים מסגן מפקד המצודה. מאחר שהחזקת אסירים הייתה תפקיד אקראי של המצודה - כפי שהיה המקרה בטירות רבות אחרות - לא היו בה מקומות מגורים ייעודיים למגורי אסירים עד שב-1687 נבנה מלבנים אדומות "בית כלא לאסירים" צפונית-מערבית למגדל הלבן. המוניטין של המצודה כבית כלא שבו מבוצעים עינויים קשים נובע בין היתר מתועמלנים דתיים של המאה ה-16 ומרומנטיקנים בני המאה ה-19. אומנם יש הגזמה מסוימת במוניטין של המצודה, אך במאה ה-16 ובמאה ה-17 הגיע שיא השימוש במצודה כבית כלא, ורבים מהאישים שהיו בלתי רצויים מבחינה דתית ומבחינה פוליטית נכלאו בה. המועצה המלכותית הטילה איסור על שימוש בעינויים, כך שנעשה בהם שימוש לעיתים רחוקות בלבד; בין 1540 ל-1640, שיא השימוש במצודה, בוצעו 48 מקרים מתועדים של עינויים. שלוש הצורות הנפוצות ביותר היו לוח המתיחה הנודע לשמצה, בתו של מנקה הרחובות , ושלשלאות. לוח המתיחה הובא לאנגליה ב-1447 על ידי ג'ון הולנד, הדוכס השני מאקסטר, שכיהן כמפקד המצודה; לאחר מכן נודע הלוח כ"בתו של הדוכס מאקסטר".
אף על פי שהיאומן וורדרס היו גם השומרים המלכותיים, במאה ה-16 ובמאה ה-17 שונה תפקידם העיקרי והפך להשגחה על האסירים. המצודה הייתה לעיתים מקום בטוח יותר מבתי כלא אחרים בלונדון, שבהם היו נפוצות מחלות. אסירים ידועי שם יכלו לחיות בתנאים דומים לאלה שציפו להם לו היו חופשיים; דוגמה לכך הייתה כאשר וולטר ראלי הוחזק במצודה, וחדריו שונו כך שמשפחתו תוכל להתגורר בהם, כולל בנו שנולד במקום ב-1605. ההוצאות להורג בוצעו בדרך כלל בגבעת המצודה ולא במצודה עצמה, ובמשך כ-400 שנים בוצעו במצודה 112 הוצאות להורג. אן בולין, קתרין הווארד וליידי ג'יין גריי, הן בין האישים שנכלאו במצודה והוצאו בה להורג. עד המאה ה-20 בוצעו שבע הוצאות להורג במתחם טאוור גרין; מקום זה נשמר עבור נידונים למוות שבמקרה שלהם הוצאה להורג לעיני הציבור הייתה כרוכה בסיכון, כפי שהיה לדוגמה במקרה של ליידי ג'יין גריי. לאחר הוצאתה להורג ב-12 בפברואר 1554 כלאה בה המלכה מרי הראשונה את אחותה אליזבת, לימים המלכה אליזבת הראשונה, בחשד שאליזבת גרמה למרד כיוון שסר תומאס ואייט הצעיר הוביל מרד נגד מרי בשמה של אליזבת.