یکی از بناهای باشکوه مجموعه سعد آباد، ساختمانی است که از سال ۱۳۴۶ تا ۱۳۵۷، محل استقرار وزارت دربار بوده و از سال ۱۳۶۱ به عنوان موزه هنرهای زیبا، مورد بهره‌برداری قرار گرفته‌است. این موزه، که هر روزه، نظر بسیاری از هنردوستان را به خود جلب می‌کند، در جنوبی‌ترین نقطه مجموعه سعد آباد واقع شده، و دارای سه طبقه با ۳۶۰۰ متر مربع، زیر بناست. ساختمان این عمارت، مربوط به دوران رضا شاه است، و از آنجا که در بنای آن، از سنگ‌های مرمر سیاه رنگ، استخراج شده از معدن ولی آباد چالوس، به کار رفته‌است، به کاخ اسود (یا کاخ سیاه) معروف بوده‌است.