Стивенсон родился в знатной семье во Фредериксберге, штат Виргиния. Его отец работал адвокатом. В 1838 году Стивенсон окончил академию Вест-Пойнт, получил временное звание второго лейтенанта и был определён в 5-й пехотный полк, который стоял на гарнизонной службе в Висконсине. 22 сентября 1840 года он был повышен до лейтенанта и принял участие во Второй Семинольской войне во Флориде. 15 июня 1842 года Стивенсон женился во Фредериксберге на Марте Сильвери Грисволд. В их семье было четверо детей, но двое первых умерли в детстве.