Han sto så utenfor det offentlige liv, inntil den lange forfatningskonflikten, som nådde sitt høydepunkt i riksrettskrisen 1883–1884. Da C. H. Schweigaards regjering hadde inngitt sin avskjed 5. juni 1884, ble Broch kalt hjem fra Paris, oppfordret til å danne en ny regjering av moderate venstremenn, og forhandle om dette med Sverdrup. Dette mislyktes på grunn av Høyres motstand mot det de anså som en kapitulasjon. Broch rådet da kongen til å henvende seg til Sverdrup, i det han nedla sitt mandat som forhandler 22. juni og vendte tilbake til Paris. Han hadde dermed definitivt tatt farvel med politikken.