Ramsvik ble medlem i Norsk Sjømannsforbund høsten 1948. Etter å ha seilt både på selfangst og som matros og båtsmann i utenriksfart, ble han rekruttert som aspirant og etter hvert senere assistent i Haugesund avdeling av Norsk Sjømannsforbund. I mai 1962 ble han bestyrer av Antwerpen avdeling. Ti år senere, i juli 1972, ble han formann i Trondheim avdeling, før han knapt tre år deretter, i februar 1975 ble tariffsekretær ved Norsk Sjømannsforbunds hovedkontor i Oslo.