På stedet for dagens Teufelsberg sto i 1940-årene råbygget til som var en del av Albert Speers Welthauptstadt Germania. Etter den andre verdenskrigen ble dette anlegget revet og fra og med 1950 var stedet etablert som deponi for bygningsrester fra de istykkerbombede bygningene i byen. Andre tilsvarende deponier som Insulanerhøyden og Stadion Wilmersdorf hadde ikke kapasitet til å ta imot mer. Fra 1950 ble det daglig kjørt ut inntil 600 lastebiler med inntil 6 800 kubikkmeter avfall. De første ti millioner kubikkmeter ble passert i 1957, og i 1972 var det kjørt ut tilsammen 26 millioner kubikkmeter ruinmasser til stedet. Den kunstig anlagte Teufelsberg ble den høyeste landskapsformasjon i daværende Vest-Berlin. Etter at deponeringen av bygningsrester var avsluttet i 1972 ble berget dekket med sand og matjord og senere beplantet.