Hans islandske avstamning og oppvekst på Færøyene gjorde at han ble brukt til ekspedering av post til Island og Færøyene. I 1885 utgav han den første islandske postadresseboken, . Finsen var redaktør for 1893–1927, og sørget for at denne ble utgitt i nye utgaver i 1897, 1903, 1909, 1915 og 1921. Finsen gav dessuten ut (1910) og (1922), og bidro til 1881–1914, 1914–1923 og alle utgavene av . Han var medlem av Dansk genealogisk Instituts forretningsutvalg samt medlem av Statens Stednavneudvalg 1909–1927.