Ehard var sentral i utviklingen av det føderative Tyskland. Han mislyktes i sitt forsøk i 1947 på å samle ministerpresidentene i alle fire okkupasjonssonene, den amerikanske, britiske, franske og sovjetiske. I 1948 inviterte han imidlertid forfatningskonventet på Herrenchimsee, som var en del av forberedelsen til den tyske grunnloven som ble vedtatt i 1949. I Det parlamentariske råd gikk Bayern på Ehards initiativ mot grunnloven, men stemte likevel for. Stemmegivningen ble begrunnet med hensynet til landet, og slagordet var «nei til grunnloven, ja til Tyskland». Ehards ønske om å sikre delstatene innflytelse i den føderale stat, kom også til uttrykk i innføringen av Forbundsrådet.