Clifford havde tre yngre brødre og fem søstre. Sir Roger Clifford, der blev gift med Joan Courtenay (født ca. 1447), den ældste datter af Thomas de Courtenay, 5. jarl af Devon, af Margaret Beaufort, datter af John Beaufort, 1. jarl af Somerset. Hun giftede sig for anden gang med sir William Knyvet af Buckenham, Norfolk. Dernæst var sir Robert Clifford, der til sidst involverede sig i Perkin Warbeck-sammensværgelsen mod Henrik 7. John Cliffords yngste bror var sir Thomas Clifford, og hans nærmeste søster var Elizabeth. Hun giftede sig først med sir William Plumpton (1435–1461), som sandsynligvis blev dræbt i Slaget ved Towton i 1461, og anden gang med John Hamerton. En anden søster var Maud, der først blev gift med sir John Harrington, og anden gang med Sir Edmund Sutton. Der var også Anne Clifford, der først blev gift med Sir William Tempest og anden gang med William Conyers. John Cliffords yngste søstre var Joan (som blev gift med sir Simon Musgrave) og Margaret (som blev gift med Robert Carr).