Han var lærersønn fra Minde i Bergen. Etter studentereksamen i 1943 tok han en militær utdannelse ved Sjøkrigsskolen og Sjøforsvarets stabsskole, foruten mine- og torpedokurs i England og USA. Han hadde grad av kommandørkaptein fra 1964. Han var sjef for utdannelsesavdelingen i Sjøforsvarets overkommando 1961–1964, Norges forsvarsattaché i Sovjetunionen og Polen 1968–1971 og ansatt ved Forsvarskommando Sør-Norge 1971–1975. Sin siste militære stilling hadde Ytterhorn som sjef for operasjonsavdelingen ved Vestlandets sjøforsvarsdistrikt på Haakonsvern 1975–1981.