Hildesheimer ble født inn i en jødisk familie. I 1926 gikk han på i Mannheim, mellom 1930 og 1933 på i Ober-Hambach og til slutt på i Farnham, England. Fra 1934 gikk han i snekkerlære i Palestina, dit foreldrene hadde emigrert, og fra 1937 studerte han maleri og scenekonstruksjon i London. I 1946 begynte han som simultantolk og redaktør for domstolsprotokollen ved Nürnbergprosessen. Deretter arbeidet han som forfatter og var medlem av Gruppe 47. Fra 1957 bodde Hildesheimer i Sveits og Italia.