John Connally var eldste sønn av John Bowden Connally og hans hustru Lela Wright. Han hadde en yngre bror, Merrill Connally (1921-2001). Connally gidtet seg 21. desember 1940 med Idanell Brill (1919–2006), kalt . De fikk fire barn.