Его дед, Джон Стенли, был американским конгрессменом, а его дядя Эдвард Стенли служил военным губернатором Северной Каролины в гражданскую войну. Уолкер Армистед и пять его братьев служили в войну 1812 года и один из них, майор Джордж Армистед, был командиром форта Макгенри во время британской атаки, которая послужила основой для сюжета гимна США.