Anfinsen begynte å arbeide som fyrbøteraspirant i 1936, og ble lokomotivfører i 1946. Han var en aktiv organisasjonsmann, med engasjement i idrettsforeninger, i politikk og i fagforening. I 1952 ble han ansatt i en nyopprettet stilling som opplysningssekretær i NLF. I 1961 ble han valgt til nestformann i forbundet, samtidig som opplysningsarbeidet ble nestformannens ansvar.