Det riksmålsvennlige Høyre samlet seg rundt en henvendelse fra Jens Bratlie om at Konow hadde «traadt ut av det nøitrale forhold til sprogstriden som maatte være en forutsetning for hans stilling som regjeringschef.» Konow offentliggjorde henvendelsen, noe Bratlie hevdet ikke var meningen. Det førte allikevel til at regjeringen måtte søke avskjed den 16. februar 1912, ettersom Høyre trakk sine statsråder ut. Avskjed ble innvilget i statsråd den 19. februar, med virkning fra 20. februar. Et forsøk på å rekonstruere regjeringen mislyktes, og Jens Bratlie dannet en ny regjering mellom Frisinnede Venstre og Høyre. Historiker Alf Kaartvedt omtaler Konows avgang som «parodisk og patetisk». I stortingsvalget samme år tapte Konow knepent for Venstre-mannen Lars Abrahamsen i Midthordland krets (Fana, Årstad, Askøy, Os, Samnanger og Skånevik), og Konow var dermed ute av norsk politikk for godt. Han tjente imidlertid som varamedlem i Den norske Nobelkomite 1913–22 og 1922–24.