Во время антисоветского восстания 1956 года жена и сын Андропова стали свидетелями жестоких казней восставшими коммунистов и сотрудников спецслужб, которых в устрашение сотрудников советского посольства вешали напротив его здания на фонарных столбах и деревьях вниз головой. В конце октября 1956 года посольская машина попала под обстрел на окраине Будапешта. Андропов вместе с военным атташе и водителем уцелели, но пешком два часа по ночному городу пробирались в посольство. В ноябре 1956 года было совершено покушение на самого посла: в него, когда он работал в своем кабинете, с чердака дома напротив стрелял снайпер. Он произвёл два выстрела, но оба раза промахнулся: пули ушли выше от цели на пять сантиметров.