Etter at Johanne Luise Heiberg var blitt enke i 1860 knyttet Krieger et nært forhold med henne. De var begge kritikere av Frederik VIIs morganatiske ekteskap med Louise Rasmussen og i private brev til Heiberg beskrev Krieger seg som republikaner.