En 1936, cuando Fest alcanzó los diez años, sus padres decidieron no alistarlo a las juventudes hitlerianas, una acción que podría haberles acarreado serias consecuencias, a pesar de que el estar afiliado no se volvió obligatorio hasta 1939.