I bøkene blir Hannibal Lecter beskrevet som kort, men med en merkbar senete styrke og en holdning som gjør ham tilsynelatende sterkere enn hva som er vanlig for hans alder. Han har mørkerøde øyne og rette rader med små hvite tenner. En av hans «mest entusiastiske beundrere» Francis Dolarhyde beskriver ham som et «mørkt portrett av en renessanseprins». I blir det beskrevet at han har viker i sitt mørke hår. Etter hans operasjoner har han annerledes hår, samt endringer på nese og kinn. Da Barney Matthews så Lecter og Starling sammen på slutten av hadde han igjen gjort små endringer i ansiktet sitt. Hans stemme blir beskrevet som om den har en metallisk klang.