Bormann var etter hvert blitt forvalter av Hitlers eiendommer på Obersalzberg. I perioden 1935–36 kjøpte han på Hitlers vegne alle eiendommene i bygda, og fikk for en stor del revet ned bygningene. Mange familier hadde bodd der i hundrevis av år og ville ikke flytte, men ble drevet bort med alle midler. I verste vinterkulden ble takene revet av hus der folk fremdeles bodde, mens andre ble truet med fengsel. Johann Brandner som i mars 1937 støtte på Hitler og klaget til ham direkte over tapet av sin fotobutikk, ble arrestert natten etter og sendt til Dachau. Under krigen ble han sendt ut som soldat og falt 28. januar 1945.Blant de ufrivillig fordrevne var flypioneren Bruno Büchner (1871-1943), som i sin tid hadde gitt Hitler losji på pensjonatet sitt, «Pension Moritz» der Sigmund Freud ferierte i august 1922. Noen få av de gamle bygningene ble stående. Speer overtok huset etter kunstneren Waltenberger, mens huset til familien Bechstein ble gjort om til gjestebolig for spesielt fremtredende besøkende som Mussolini og familien Goebbels.