Armistead, conocido por sus amigos como "Lo" (de Lotario), nació en la casa de su bisabuelo, John Wright Stanly, en New Bern, Carolina del Norte, de Walker Keith Armistead y Elizabeth Stanly. Procedente de una respetada familia militar, Armistead era de ascendencia enteramente inglesa, y todos sus ancestros habían estado en Virginia desde principios del siglo XVII. El primero de sus antepasados en emigrar a Norteamérica fue William Armistead de Yorkshire, Inglaterra. El padre de Armistead fue uno de los cinco hermanos que lucharon en la Guerra de 1812; otro fue el Mayor George Armistead, el comandante de Fort McHenry durante la batalla que inspiró a Francis Scott Key a escribir "The Star-Spangled Banner", que más tarde se convertiría en el himno nacional de Estados Unidos. Por parte de su madre, su abuelo John Stanly fue congresista y su tío Edward Stanly fue gobernador militar del este de Carolina del Norte durante la Guerra Civil.