Alfred Olsen ble første gang innvalgt på Lagtinget i 1998. Han var formann i Lagtingets velferdskomité fra 2002 til 2004 og Lagtingets justiskomité fra 2004 til 2007. Han ble valgt til nestformann i Sambandsflokkurin i 2001, men ble løst fra både nestformannsvervet og komitévervene i 2007, etter å ha trukket sin støtte til Eidesgaard-regjeringen. Olsen var imot å lovfeste et forbud mot diskriminering på bakgrunn av seksuell legning.