Fest gikk på Leibniz-Gymnasium i Berlin. Etter at han hadde risset inn en karikatur av Hitler på skolepulten kunne han bare unngå et (skoleutvisning) fordi han lovet å forlate skolen til påsken 1941. En onkel finansierte opptak på et katolsk internat knyttet til det humanistiske Friedrich-Gymnasiums i Freiburg im Breisgau for ham og brødrene hans.