ปี พ.ศ. 2424 โปรดฯ ให้ สมเด็จกรมพระยาดำรงราชนุภาพ (ขณะนั้นยังทรงดำรงพระยศ พระเจ้าน้องยาเธอ พระองค์เจ้าดิศวรกุมาร ราชองค์รักษ์ ผู้บังคับการทหารมหาดเล็ก) ทรงตั้งโรงเรียนขึ้นอีกแห่งหนึ่งเพื่อสอนผู้ที่จะมาเป็นนายสิบ นายร้อย ในกรมทหารมหาดเล็ก ด้วยมีนักเรียนเข้าเรียนเป็นจำนวนมากสถานที่ในกรมทหารมหาดเล็กมีไม่เพียงพอ จึงทรงพระราชทานพระตำหนักสวนกุหลาบ ให้ใช้เป็นโรงเรียนสำหรับทหารมหาดเล็ก ปีพ.ศ. 2425 โดยนักเรียนส่วนใหญ่เป็นราชนิกูล และบุตรหลานของข้าราชการ