I 1964 sammenfalt kongressvalget med presidentvalget, der republikanerne nominerte den svært konservative Barry Goldwater som presidentkandidat. Tollefson tapte plassen i Representantenes hus. Imidlertid ble republikaneren Daniel J. Evans valgt til guvernør i Washington, og han utnevnte Tollefson til delstatens fiskeridirektør. Han gikk av med pensjon i 1975, men var guvernørens rådgiver ved internasjonale fiskeriforhandlinger.