Postimiehenä työskennellyt Rinne toimi jo nuorukaisena Hermannin työväenyhdistyksessä sekä Hermannin Kiistan johtokunnassa. Kun seurasta erotettiin sisällissodan jälkeen Tahko Pihkalan johdolla kaikki vasemmistolaiset, oli Rinne vuonna 1919 mukana perustamassa uutta seuraa Helsingin Kullervoa, jonka ensimmäiseksi puheenjohtajaksi hänet valittiin. Rinne oli myös samana vuonna perustamassa Työväen Urheiluliittoa ja kuului sen liittotoimikuntaan vuoteen 1937 saakka. Vuosina 1926–1940 Rinne työskenteli Postiliiton sihteerinä ja rahastonhoitajana. 1920-luvulla hän oli Helsingin kaupungin urheilulautakunnan ja myöhemmin 1930-luvulla Stadion-säätiön jäsen.