ヒルはサウスカロライナ州ヨーク地区にあったヒル鉄工所で、ソロモンとナンシー・キャビーンのヒル夫妻の子供として生まれた。父方の祖父ウィリアム・"ビリー"・ヒル大佐はアイルランドの生まれであり、ヨーク地区に鋳造工場を持って、大陸軍のために大砲を作った。母方の祖父はスコットランドの生まれだった。ヒルは1842年に56人の同期中28番目の成績でアメリカ陸軍士官学校を卒業し、第1アメリカ砲兵連隊に配属された。米墨戦争で頭角を現し、コントレラスの戦いとチュルブスコの戦いでの勇敢さで大尉に、チャプルテペクの戦いでの勇敢さで少佐に名誉昇進した。1849年2月、アメリカ陸軍を除隊し、ヴァージニア州レキシントンにあるワシントン大学（現在のワシントン・アンド・リー大学）で数学の教授になった。この頃、代数の教科書を出版したが北部人を怒らせる言葉遣いの問題で著名であり、あるコネチカットの商人が詐欺で奪った利益というような表現があった。1854年、ノースカロライナ州のダヴィッドソン大学の教員となり、1859年にはシャーロットにあるノースカロライナ士官学校の校長になった。