Olsen var aktiv i fiskerorganisasjoner. Han var nestformann i Finnmark Fiskarlag (1934–1940), formann i styret for Norges Råfisklag (1938–1951) og formann i Norges Fiskarlag (1951–1955).