Konow var Danmarks forsvars- og utenriksminister i Otto Liebes forretningsministerium under Påskekrisen i 1920. Han gikk deretter tilbake til sjøforsvaret, som sjef ved Orlogsværftet.