Hill undgik ikke at blive genstand for kontroverser under krigen. Han havde en spinkel figur og led ofte af sygdomme, som mindskede hans dygtighed i slaget ved Gettysburg, the Wilderness, og Slaget ved Spotsylvania Court House. (Nogle historikere mener at han led af følgevirkningerne af en kønssygdom, muligvis gonorré, som han havde pådraget sig på West Point som kadet. Hospitalsjournalen fra militærakademiet viser at han blev indlagt til behandling den 9. september 1844 med ”gonorré pådraget under orlov”.) Historikeren Larry Tagg beskrev Hill “altid følelsesbetonet … så anspændt før et slag, at han havde en stigende tilbøjelighed til at blive dårlig når kampen skulle til at begynde”. Denne tendens blev i et vist omfang modsvaret af hans antydede praleri og krigeriske adfærd. Han bar ofte en rød ulden jagtskjorte, som han kaldte sin kampskjorte, når slaget skulle til at begynde, og hans mænd lod det sive ned gennem rækkerne: ”Little Powell har taget sin kampskjorte på!” og begyndte at klargøre deres våben.