Finsen gikk på kostskolen Herlufsholm fra 1873 til 1875, deretter i lære som apoteksassistent ved Horsens Svaneapotek fra 1876 til 1879. Han tok farmasøytisk embedseksamen som kandidat ved Svaneapoteket i København i 1882. Året etter vendte han tilbake til Tórshavn, hvor Svaneapoteket åpnet et filialapotek med Finsen som bestyrer. Apotekerbevillingen lå derimot hos Svaneapotekets eier i København, Alfred Nicolai Benzon, senere hos hans to sønner. Finsen ble tildelt sitt privilegium idet Benzons privilegium utløp i 1898.