Lewis A. Armistead var kendt af sine venner som "Lo" (for "Lothario", hvilket var en ironisk vittighed, fordi han var en sky person og enkemand, og ikke en damernes ven), var født i sin oldefar, John Wright Stanlys hjem i New Bern, North Carolina, som søn af Walker Keith Armistead og Elizabeth Stanly Armistead. Armistead's bedstefar, John Stanly var medlem af den amerikanske kongres og hans onkel, Edward Stanly, gjorde tjeneste som militær guvernør over det østlige North Carolina under borgerkrigen. Walker Armistead og hans fem brødte gjorde tjeneste under Den britisk-amerikanske krig (1812) og en af dem major George Armistead, var chef for Fort McHenry under det britiske angreb, som inspirerede til teksten til Star-Spangled Banner. Lewis gik på West Point, men blev smidt ud efter en episode, hvor han smadrede en tallerken ned over hovedet på en anden kadet Jubal Early. Han havde også vanskeligeheder af akademisk art især fransk, der var et fag, som gav mange kadetter problemer dengang, og nogle historikere mener, at det var den reelle årsag til at han forlod akademiet. Hans indflydelsesrige far sørgede for at han alligevel fik en stilling som sekondløjtnant i 6th U.S. Infantry den 10. juli 1839, nogenlunde samtidig med at hans klassekammerater fik deres eksamen. Han blev forfremmet til premierløjtnant den 30. marts 1844. Under den Mexicansk-amerikanske krig blev han midlertidig forfremmet til kaptajn for slaget ved Contreras og slaget ved Churubusco. Han blev såret i Slaget ved Chapultepec, og blev forfremmet til major for Slaget ved Molino del Rey og Chapultepec. Han blev forfremmet til kaptajn i den regulære hær den 3. marts 1855.