I 2003 ble Rytman innvalgt i Buskerud fylkesting og valgt til leder i FrPs fylkestingsgruppe. Han var formann i Buskerud FrP og medlem av partiets landsstyre 2002–2006. Han var også innvalgt i Drammen bystyre 2007–2011. Han var innvalgt på Stortinget fra Buskerud 2005–2017 og satt i Stortingets finanskomité 2005–2013, deretter i Stortingets næringskomité 2013–2017. Han ledet Israels venner på Stortinget 2015–2017 og etablerte en venneforening for Estland.