Harpo giftet seg med skuespilleren Susan Fleming den 28. september 1936. Paret adopterte fire barn, Bill, Alex, Jimmy og Minnie.