Хильдешаймер ходила в голландский детский сад в Неймегене и говорила на национальном языке. С 1926 года Хильдесхаймер посещал гуманистическую гимназию в Мангейме, с которой он не ладил, между 1930 и 1933 годами — школу Оденвальда в Обер-Гамбахе . Затем он перешел в школу Frensham Heights School в Фарнеме, Англия. С 1934 года он учился на плотника в Палестине, куда эмигрировали его родители. С 1937 г. изучал живопись и сценографию в Лондоне. В 1939 году он вернулся в Палестину через Швейцарию и Италию. После окончания войны он вернулся в Германию вопреки совету родителей. В 1946 году он начал работать в качестве cсинхронного переводчика и клерка на Нюрнбергском процессе. Затем он работал писателем и был членом Группы 47. Он жил в Амбах-ам-Штарнбергерзее, а с 1953 года — в Мюнхене. С 1957 года жил в Хильдесхайме в Швейцарии и Италии.