Buell blev født nær Marietta i Ohio og boede i en periode inden borgerkrigen i Indiana. Han dimitterede fra Militærakademiet i West Point i 1841 og blev sekondløjtnant i infanteriet. I den Mexicansk-amerikanske krig tjente han under både Zachary Taylor og Winfield Scott. Han fik 3 midlertidige forfremmelser for tapperhed og blev såret under Slaget ved Churubusco. Efterfølgende tjente han som "generaladjudant" i den amerikanske hær og som adjudant i Californien.