Han var andre sønn av Frankfurt am Main-kjøpmannen Peter Anton Brentano (fra slekten ) og Maximiliane von La Roche, en av Goethes ungdomsforelskelser.