El arquitecto iba al jardín de la prisión a disfrutar y trabajar para superar el bloqueo del escritor, y se le permitió construir un ambicioso jardín con la transformación de lo que él describió en un principio como un «desierto» en lo que un comandante estadounidense de Spandau llamó «El jardín del Edén de Speer».