Lecter ble født i Litauen i 1933 av en familie som blir fremstilt som aristokratiske og rike. Hans far er bare kjent som greve Lecter, og var etterkommer av krigsherren «Hannibal den bistre» som beseiret Den tyske orden i slaget ved Tannenberg i 1410. Hans mor, Simonetta Sforza, er etterkommer av både Visconti-familien og Sforza-familien som var herskere av Milano i 250 år under renessansen. I romanen "Hannibal" blir det også nevnt at han kan være en fjern slektning av kunstneren Balthus, en mulighet han selv undersøker uten resultat.