Han ble statsråd og justisminister i 1879, og beholdt posten etter regjeringsskiftet i 1880. Sammen med de øvrige medlemmer av regjeringen Selmer ble han dømt i riksrettssaken i 1884. I forbindelse med regjeringens avgang var han konstituert statsminister i 18 dager, fra 11. til 29. mars 1884. Bachke ble valgt inn i direksjonen i Spareskillingsbanken den 20. februar 1884. I direksjonen satt godseier, Carl August Gulbranson og grosserer, H. C. Gregersen. Bachke ble samtidig valgt som formann i bankens forstanderskap.