Ved Systemskiftet i 1901 ble han justisminister i den nye regjeringen og forble i denne stillingen i 1905 ved Venstreministeriets omdannelse. Han knyttet særlig sitt navn til utviklingen av Islands statsrettslige selvstendighet 1903, til loven om forbryterske og forsømte barn og tillegget til Straffeloven (den såkalte «pryleloven») 1905, samt til avskaffelsen av den offentlige prostitusjon 1906, videre til lovene om bekjempelse av tuberkulosen 1905. Likeledes tok han del i arbeidet for rettspleiens omorganisering med offentlighet, muntlighet og lagretter. Han huskes særlig for innføringen av prylestraff for volds- og seksualforbrytelser i 1905. Menn mellom 15 og 55 år, som hadde begått voldtekt eller vold mot sakesløse eller hadde vært utekkelige mot småpiker, skulle straffes med inntil 27 slag på «sædet» med en stokk. Prylestraffen ble opphevet igjen i 1911.