Under oppveksten utviklet han et tett og kjærlig bånd med sin lillesøster, som han beskyttet og tok vare på. Under andre verdenskrig flyktet familien fra slottet sitt og tok tilflukt i en jakthytte i skogen for å unngå Hitlers blitzkrieg under Operasjon Barbarossa. Der bodde de i tre år frem til krigens slutt. Like før tyskernes tilbaketrekning ble hans mor og far, hans jødiske privatlærer, og familiens tjenere drept av et tysk jagerfly som bombet en sovjetisk stridsvogn som stod utenfor jakthytten. Bare Lecter og søsteren overlevde. Hytten ble så okkupert av Totenkopfere, tidligere nazivennlige litauere som nå plyndret alt de kom over. Lederen for denne gruppen var Vladis Grutas. De tok Lecter og hans søster til fange og spiste senere Mischa i mangel på mat. Dette traumatiserte Lecter særdeles mye og han opplevde hukommelsestap og ble stum.