Han ble født på Svínáir på Eysturoy i 1854, som sønn av Birgithe (født Thomasdatter) og Poul Joensen. Foreldrene kom opprinnelig fra henholdsvis Funningur og Eiði, og Svínáir var enda en ung da de bosatte seg der. Jógvan Poulsen vokste opp i et fattigslig hjem, og tjente etterhvert til livets opphold som tjenestegutt på gården Látrinan på Eiði. I 1874 dro han til Tórshavn for å skaffe seg en utdannelse.