De eerste aanzet voor het museum werd gegeven toen in 1938 werd begonnen met de aanleg van een collectie historische voorwerpen met betrekking tot het Korps Mariniers. Bij het bombardement door Duitse vliegtuigen op 12 mei 1940 van de toenmalige Marinierskazerne aan het Oostplein te Rotterdam ging alles verloren. In 1980 ontstond het huidige Mariniersmuseum, tot 1995 gevestigd in het Hulstkamp-gebouw aan de Maaskade in Rotterdam. Op 10 december 1995 werd het museum feestelijk heropend door Z.K.H. Prins Bernhard aan de Wijnhaven, een plek van grote symbolische betekenis voor het Korps. Hier vochten de mariniers immers in mei 1940 tegen de Duitse tegenstander. Het museum is nu ondergebracht in vier historische panden, 18e-eeuwse koopmanshuizen, die steen voor steen werden herbouwd na de afbraak voor de spoortunnel.