Marlier solgte i 1921 eiendommen til generaldirektør Friedrich Minoux, derav navneskifte til Minoux-villaen. Minoux tilhørte den konservative ytre høyre opposisjonen mot Weimarrepublikken. Minoux ble i mai 1940 arrestert under mistanke for store underslag. Fra fengselet solgte han villaen for 1,9 millioner Reichsmark til som i praksis var SS. Bygningen ble deretter overført til RSHA. Bygningen ble brukt til møtelokale, innkvartering av SS-personell og gjester hos RSHA. Heinrich Müller i gestapo hatt sitt siste kontor der. I 1942 var villaen møblert med inventar stjålet fra jødiske boliger i Praha. Den kan ha vært jødiske tvangsarbeidere som betjening i bygget da Wannsee-konferansen ble avholdt.