Stedet var opprinnelig en jakthytte for hertugen av Valmy beliggende i utkanten av Boulogneskogen. Det ble kjøpt av Jules Marmottan i 1882 og senere overtatt av sønnen Paul, som flyttet inn, og utvidet farens samling av Napoleana. Stedet med innhold ble testamentert til Académie des Beaux-Arts. Akademiet åpnet stedet for publikum i 1934 under navnet Musée Marmottan i 1934.