Etter dimitteringen fra det militære og å ha innledet forholdet til Phyllis, søkte både han og moren anonymitet, og han endret derfor etternavnet til Stuart-Houston. Han og Phyllis fikk fire sønner, den første var Alexander Adolf (født 1949), senere Louis (født 1951), Howard Ronald (født 1957) og Brian William (født 1965).