Farrell giftet seg med skuespiller Judy Farrell i 1963, et ekteskap som varte til 1983. De har to barn sammen, Michael og Erin. Farrell giftet seg 31. desember 1984 med skuespiller Shelley Fabares.