Podczas okupacji hitlerowskiej udało się te plany częściowo zrealizować – powstało tutaj konspiracyjne Muzeum Wawerskie, w którym zgromadzono różne pamiątki, zwłaszcza z okresu powstań listopadowego i styczniowego. Pod koniec II wojny światowej, gdy późnym latem 1944 roku zbliżyła się linia frontu, budynek został ograbiony, potem nawet zginęły lub uległy zniszczeniu ukryte wcześniej eksponaty.