Смит родился в Сен-Огастине во Флориде, и был младшим сыном адвоката Джозефа Ли Смита и Фрэнсис Кирби Смит. Его родители происходили из Коннектикута, где родились их старшие дети. Семья переехала во Флориду в 1821 году, и Смит-Старший стал верховным судьёй Территории Флорида. В 1841 году Кирби Смит поступил в академию Вест-Пойнт, которую окончил 25-м по успеваемости в выпуске 1845 года. Его определили в 5-й пехотный полк во временном звании второго лейтенанта. В 1845—1846 годах Смит служил в Техасе, затем принял участие в войне с Мексикой. Он сражался при Пало-Альто и при Ресаке. 22 августа 1846 года он получил постоянное звание второго лейтенанта и был переведён в 7-й пехотный полк.