Black møtte sin fremtidige kone Hilary Joan Vaughan (1924–1986) på en ball på universitetet i 1944 og de to giftet seg i 1946 etter hans uteksaminering fra universitet. De var gift frem til hun døde i en alder av 61 år i Surrey. Paret fikk en datter, Stephanie, født i 1951. Black giftet seg igjen i 1994 med professor Rona Mackie. Black var en svært privat mann som var meget uvillig til publisitet omkring sitt private liv, og etter eget utsagn skal han ha blitt forskrekket over å oppdage at han hadde vunnet Nobels fredspris.