Herzog ha assunto l'incarico di Presidente federale il 1º luglio 1994. Ha partecipato alle commemorazioni del 50º anniversario della Rivolta di Varsavia durante l'Occupazione nazista della Polonia nel 1994. In un discorso ampiamente lodato, ha reso omaggio ai combattenti e al popolo polacco e chiese "perdono per quello che è stato fatto a voi dai tedeschi". Nel 1995, Herzog è stato uno dei pochi dignitari stranieri che partecipano alle osservanze, in occasione del 50º anniversario della liberazione del campo di concentramento di Auschwitz che hanno scelto di partecipare ad un servizio ebraico presso il sito del campo piuttosto che la cerimonia ufficiale di apertura a Cracovia promossa dal governo polacco. Nel gennaio 1996, Herzog ha dichiarato il 27 gennaio, nell'anniversario della liberazione del Campo di concentramento di Auschwitz del 1945, come il giorno ufficiale della memoria della Germania per le vittime del regime di Hitler. Alla fine del 1997, in un passo importante per la Germania riconosce ufficialmente l'uccisione e la sofferenza dei Rom e Sinti sotto il nazismo, ha detto che la persecuzione dei Rom e Sinti è stato lo stesso del terrore contro gli ebrei.