העבודה על מבני הטירה לא הסתיימה עד למותו של ג'יימס הרביעי בקרב פלודן. יורשו, ג'יימס החמישי, הוכתר בקפלה המלכותית וגדל בטירה תחת השגחתו של ג'ון ארסקין. ב-1515 הגיע העוצר ג'ון סטיוארט, דוכס אולבני, עם 7,000 איש וצר על הטירה, במטרה להעביר לחזקתו את המלך הצעיר מידי אמו, מרגרט טיודור. ג'יימס החמישי המשיך את מפעלו של אביו בסטירלינג והקים את חלקו המרכזי של הארמון המלכותי, פרי עבודתו של סר ג'יימס המילטון מפינהארט. גם ג'יימס החמישי מת בגיל צעיר, והותיר את העבודה הבלתי גמורה לאלמנתו, מארי דה גיז. ביתו התינוקת, מרי, הובאה לסטירלינג למען ביטחונה והוכתרה בקפלה המלכותית ב-9 בספטמבר 1543 וגדלה גם היא במקום, בטרם הועברה למנזר אינצ'מהאום (Inchmahome Priory) ומשם לצרפת ב-1548. במהלך העשור של 1550 בתקופת העוצרות של מארי דה גיז, גברה העוינות בין צרפת לאנגליה, אשר באה לידי ביטוי גם על אדמת סקוטלנד. כתוצאה מכך נבנו ביצורים להצבת ארטילריה במבואותיה הדרומיים של הטירה, ובכלל זה "הדורבן הצרפתי", שהפכו לבסיס להגנות החיצוניות הנראות בימינו