Han var statsråd i Indredepartementet i Emil Stangs første regjering fra 13. juli 1889, en utnevnelse som skyldtes kongelig påtrykk. 1. juli 1890 gikk han over til å være statsråd ved Statsrådsavdelingen i Stockholm. Hans forhold til statsministrene Emil Stang og Gregers Gram var anspent, og dette ble ikke bedre av at Stang hverken rådførte seg med blant andre Thorne eller bad om kongens tillatelse før han stilte kabinettsspørsmål. Kabinettsspørsmålet førte til at regjeringen måtte gå av den 6. mars 1891.