Han var eldste sønn av den katolske sentrumspolitikeren, advokaten og senere riksdagsmannen og hessiske justisministeren Otto von Brentano di Tremezzo (1855–1927). Hans yngre brødre var Bernard (1901–1964) og Heinrich von Brentano di Tremezzo (1904–1964).