Lenge etter Hannibals død fortsatte navnet å hjemsøke romerne. Det er skrevet at han lærte romerne som hevdet de var fryktløse etterkommere av Mars, å kjenne frykt. I generasjoner fortalte romerne fryktelige historier om Hannibal til sine barn (kan sammenlignes med dagens «busemann»). Hannibal ble et så stort symbol på frykt at senatorene, uansett hva slags fare som truet, utbrøt , «Hannibal står ved porten», for å vise deres frykt eller bekymring. Dette berømte latinske sitatet utviklet seg til å bli et så vanlig uttrykk at det ofte er brukt når en kunde står ved døren eller når en står overfor en katastrofe. Dette viser den psykologiske effekten Hannibal hadde på Italia og den romerske kulturen.