Ytterhorn var med på å stifte Anders Langes Parti, forløperen til Fremskrittspartiet, i 1973. Han var formann i Hordaland ALP og FrP 1975–1981, 1. viseformann i Fremskrittspartiet 1978–1982, medlem av Hordaland fylkesting 1976–1983 og medlem av Bergen bystyre og formannskap 1980–1983. Ytterhorn var innvalgt på Stortinget fra Hordaland fra 1981 og frem til han omkom i en drukningsulykke i 1987. Han var parlamentarisk nestleder og medlem av Stortingets forsvarskomité. Foruten forsvarsspørsmål var Ytterhorn svært engasjert i statspensjonistenes sak.