این موزه، در بخش مرکزی مجموعه سعد آباد قرار دارد. این ساختمان با زیر بنایی حدود سه هزار متر مربع، در دو طبقه و یک زیر زمین، به دستور رضا شاه، در سال ۱۳۱۴ خورشیدی، برای همسر دومش تاج الملوک ساخته شد. بنای فوق طی سال‌های ۱۳۵۱ تا ۱۳۵۲ خورشیدی، توسط واحد مهندسی مجموعه سعد آباد، بازسازی و به شهرام، پسر بزرگ اشرف پهلوی اهدا شد، و به کاخ شهرام معروف گشت. پس از پیروزی انقلاب ایران، ساختمان مذکور، به موزه نظامی تبدیل شد. مجموعه فوق در سال ۱۳۰۲ خورشیدی، به موزه دانشکده افسری منتقل شده بود، که پس از انقلاب، بخشی از آن مجموعه، به موزه فعلی انتقال یافت. ساختمان موزه، در سال ۱۳۶۰ خورشیدی، توسط ارتش جمهوری اسلامی ایران بازسازی و در تاریخ ۳۱ شهریور سال ۱۳۶۲ خورشیدی، با نام موزه نظامی افتتاح گردید.