Forholdet til Sverdrup kjølnet imidlertid raskt, spesielt etter at Sverdrup ble statsminister i 1884, og Konow ble en av hans fremste kritikere i saker vedrørende åndsfrihet og kultur. I debatten om statlig kunsterlønn til Alexander Kielland hevet Konow seg over «smaa, tilbagetrængte, svindende Meninger, tildels opblandede med Fordomme ude fra Yderkanterne i Landet.» Med sin frie begavelse hadde han dessuten liten sans for partidisiplin, og hans meget begrensede interesse for partipolitikk gjorde at han ikke stilte til valg i hverken 1903 eller 1906. Det endelige bruddet mellom Sverdrups fløy og «det rene Venstre», hvor Konow var hjemmehørende i sistnevnte, kom i 1888, og Konow var den som fremmet interpellasjonen som innledet til dette bruddet. Bruddet førte til tap for «det rene Venstre» i det påfølgende stortingsvalget, og Konow trakk seg ut av rikspolitikken.