I april 1928 giftet Montgomery seg med skuespillerinnen Elizabeth Daniel Allen (født 26. desember 1904, død 28. juni 1992), søsteren til Martha-Bryan Allen. De fikk tre barn sammen: Martha Bryan, som døde i 1931, 14 måneder gammel; Elizabeth (født 15. april 1933, død 18. mai 1995); og Robert jr. (født 6. januar 1936, død 7. februar 2000). Ekteparet ble skilt 5. desember 1950. Montgomerys andre ekteskap var med Elizabeth «Buffy» Grant Harkness. De giftet seg 9. desember 1950, fire dager etter at skilsmissen fra hans første kone var fullført.