Connally ble utdannet som advokat ved University of Texas School of Law og gikk inn i United States Navy under andre verdenskrig hvor han fikk tildelt både Bronze Star Medal og Legion of Merit for sin innsats.