A.P. Hill, kjent blant sine soldater som , ble født i Culpeper i Virginia og ble uteksaminert fra United States Military Academy i 1847 som nr. 15 i årskullet på 38 kadetter. Han ble plassert i 1. US Artillery som fenrik. Han tjenestegjorde i den mexicansk-amerikanske krig og seminolekrigene og ble forfremmet til løytnant i september 1851. Fra 1855 til 1860 var Hill ansatt i oppmålingen av USAs kyst. Han giftet seg i 1859 med Kitty Morgan McClung, en ung enke, og ble dermed svoger med de fremtidige konfødererte kavalerigeneralene John Hunt Morgan og Basil W. Duke.