Han var eldste sønn av den østprøyssiske godseieren, DNVP-politikeren og føderale landbruksministeren Magnus von Braun. Han var bror av romfartspionéren Wernher von Braun, og var far til politikeren Carola von Braun og kulturforskeren Christina von Braun.