Han er bemerkelsesverdig blant annet fordi han levde i et åpenlyst samboerforhold med familiens slave Julia Chinn, som han behandlet som sin hustru. Paret hadde to døtre: Adaline Chinn Johnson og Imogene Chinn Johnson.