Pero la mayor parte del tiempo vivieron en Veldestein, en las proximidades de Núremberg, en un castillo medieval perteneciente al padrino de Hermann, el doctor Hermann Espenstein, de ascendencia judía.