Filip Rygg startet sin politiske karriere som fylkesleder for Hordaland KrFU i 2001. Han var leder for fylkeslaget frem til 2003, da han ble valgt inn i sentralstyret til Kristelig Folkepartis Ungdom på landsplan. Ved fylkestingvalget samme år ble han valgt inn som representant for KrF i Hordaland fylkesting.