Il est accepté en 1848 à West Point. Il y côtoiera entre autres Fitz John Porter (classe 1845), George B. McClellan (classe 1846), Thomas J. Jackson, le futur « "Stonewall Jackson" », (classe 1846), George Pickett (classe 1846), et 2 futurs commandants et amis : George Stoneman (classe 1846) et Ambrose Burnside (classe 1847). Dans la classe 1847 se trouvent aussi A.P. Hill et Henry Heth, que Buford affrontera au début de la Bataille de Gettysburg, le .