Tilbake i USA fra opphold i Europa slo Bly seg ned på en gård i Minnesota, der han bodde med kone og barn. Den første konen hans var den prisvinnende forfatterinnen Carol Bly. De fikk fire barn, blant dem forfatterinnen og litteraturprofessoren Mary Bly, men de skilte seg i 1979. I 1980 giftet Bly seg med Ruth Counsell. Hav ble stefaren til hennes to barn.