Clemson wurde geboren als Sohn von Elizabeth Baker, Tochter einer prominenten Familie, und Thomas Green Clemson III, einem Quäker und Kaufmann. Clemsons Vater war geschäftlich sehr erfolgreich und für die damalige Zeit sehr vermögend. Er hatte noch fünf weitere Kinder: John Baker, er wurde Bischof in der Episkopalkirche, William, Louisa, sie heiratete Samuel Washington, ein Großneffe von George Washington, Catherine und Elizabeth. Thomas Green Clemson III starb, als sein Sohn sechs Jahre alt war, und hinterließ ihm sowie seinen Geschwistern 100.000 Dollar. Über die Erziehung in seiner frühen Jugend ist nur wenig bekannt. Er besuchte bis zu seinem 16. Lebensjahr Schulen in Philadelphia, danach ging er für zwei Jahre auf das College in Norwich. Auf der dortigen Militärakademie erhielt er eine wissenschaftliche Ausbildung und machte Erfahrungen mit dem studentischen Leben. Im Jahr 1826, mit 20 Jahren, machte Clemson, ermöglicht durch das Erbe seines Vaters, die Grand Tour durch Europa. Er studierte an der Sorbonne in Paris und der "Royal School of Mines", wo er mit einem Diplom in Mineralienprüfung abschloss. Bereits während seines Studiums bekam Clemson auch Interesse an der Politik, prägend war dabei vor allem das Miterleben der Revolution von 1830 in Paris.