Ved innføringen av det kommunale selvstyret på Færøyene i 1872 ble han formann i kommunestyret i Norðoya prestagjalds kommuna, hvilket han var frem til kommunedelingen i 1908. Olsen var innvalgt på Lagtinget fra Norðoyar 1877–1912, Landstinget 1886–1894 samt Folketinget 1898–1901. Han sympatiserte med det danske Højre. I 1906 var han blant lagtingsmennene som dannet Færøyenes første politiske parti, Sambandsflokkurin, som ville bevare Færøyenes samhørighet med Danmark. På sine eldre dager ble han kåserende beskrevet i som en av Lagtingets «hedersgubber» med en «urokkelig verdighet», og som en særpreget rolig og ettertenksom, men fortsatt virkelysten mann.