Stephens giftet seg med kunstneren Rebecca Clara Dalton i 1866. De fikk en sønn, Holman Fred Stephens (1869–1931) som ble ingeniør og bygde jernbaner. I henhold til folketellingen av 1881 levde familien i 10 Hammersmith Terrace i Hammersmith i London. Stephens døde i stt hjem den 9. mars 1907 og ble gravlagt i gravlunden Brompton Cemetery. Mesteparten av hans samling av kunst og bøker ble auksjonert bort i 1916 etter at hans enke døde, men hans sønn overlot flere kunstverker til Tate Gallery.