Joseph was the seventh son of Judge Peter Johnston (1763–1831) and Mary Valentine Wood (1769–1825), a niece of Patrick Henry.
Его родителями были судья Петер Джонстон (1763–1831) и Мэри Валентайн Вуд (1769–1825), племянница губернатора Вирджинии, Патрика Генри.