Se casó en 1929 con la escritora canadiense Jessie McDonald, después de que ésta se divorciase del escritor norteamaricano Conrad Aiken, lo que hizo a Armstrong padrastro de la joven escritora Joan Aiken.