Han ble født på slektsgården Ramsvik ved Råkvåg som sønn av gårdbruker Johan Ramsvik og hustru Anne Johanne Stormo. Han var gift med Gurine (1885–1965). Etter amtsskolen ble han ansatt hos kjøpmann Mons Monsen i Råkvåg. Fra 1910 drev Ramsvik sin egen kjøpmannsforretning med eksport av sild og andre fiskeprodukter. I 1936 overtok han også slektsgården.