Allen foi particularmente afetado pelo assassinato do presidente Kennedy em 1963. De acordo com o filho: "Meu pai chegou em casa tarde no dia em que o presidente Kennedy foi baleado. Mas então ele se levantou e colocou o casaco de volta. Ele disse: 'Tenho que voltar ao trabalho'. Mas no corredor, ele encostou na parede e começou a chorar. Essa foi a primeira vez na minha vida que eu vi meu pai chorar. " Ele foi convidado para o funeral, mas optou por permanecer no trabalho para preparar a recepção, porque "Alguém tinha que estar na Casa Branca para servir a todos depois que eles vierem do funeral". Allen nunca perdeu um dia de trabalho em 34 anos.