Rye var utdannet jurist, og arbeidet i Indredepartementet fra 1847 til 1860, deretter i andre departement før han i 1869 ble amtmann i Søndre Bergenhus, i 1877 amtmann i Bratsberg og i 1880 stiftsamtmann i Kristiania.