Лоуренс Грэм родился в "Вигваме", поместье своего отца в вирджинском округе Амилия, в семье Уильяма Грэма и Мэри Кэмпбелл Грэм. Его отец был ветераном войн с Англией и три его брата были выпускниками Вест-Пойнта. Один из них был племянником Джорджа Мида. Грэм обучался у частных учителей и в 1837 году вступил в армию США, где был определён вторым лейтенантом во 2-й драгунский полк. Он участвовал в семинольской войне, где получил звания первого лейтенанта и капитана. Он так же принял участие в Мексиканской войне, где получил временное звание майора за храбрость в сражениях при Пало-Альто и при Ресака-де-ла-Пальма. В 1858 году его временное звание майора стало постоянным.