伦的生日正好在同一天，因此艾伦在福特的白宫生日派对上也总是有份，福特夫人也会请众人同时给予福特和艾伦祝福。1981年，艾伦在隆纳·雷根的任内升上了白宫众管家中最富盛名的职位——。第一夫人南茜·雷根曾邀请艾伦带妻子一起出席在白宫举办、招待西德总理赫尔穆特·科尔的。1986年，艾伦正式退休。他与妻子海琳都打算在2008年美国总统大选中投票给民主党籍的总统候选人巴拉克·欧巴马，但海琳却在投票日前一天去世了，使艾伦只能独自一人前往投票所、并见证了美国首位非裔总统的当选。2010年3月31日，艾伦因为肾功能衰