1940 ging Miller seine erste Ehe mit Mary Grace Slattery ein, mit der er eine Tochter Jane Ellen (* 1944) und einen Sohn Robert A. (* 1947) bekam. Nachdem Miller über den Regisseur Elia Kazan die Schauspielerin Marilyn Monroe kennenlernte, ging die Ehe mit Slattery in die Brüche. 1956 heiratete er Monroe und bearbeitete eine Kurzgeschichte zu einem Drehbuch, das mit ihr in eine der Hauptrollen unter dem Titel "Misfits – Nicht gesellschaftsfähig," Monroes letztem Streifen, verfilmt wurde. 1960 trennte sich das Paar aufgrund zahlreicher Ehestreitigkeiten und Monroes gescheitertem Kinderwunsch. Im darauffolgenden Jahr ließ sich das Paar in gegenseitigem Einvernehmen scheiden. Der gerichtliche Scheidungstermin wurde auf den 20. Januar gelegt, damit die Presse vom Amtsantritt des US-amerikanischen Präsidenten John F. Kennedy abgelenkt war. Im Zuge der Ehe mit Monroe war Miller bereits ins Visier der Klatschpresse geraten. Ab 1962 war er mit der österreichischen Fotografin Inge Morath verheiratet. Aus dieser Ehe stammen die Kinder Rebecca Miller (* 1962) und Daniel Miller (* 1966). 2002 verstarb Morath.