Han vokste opp i Skopun, hvor hans far, Niels Winther Poulsen, var lærer. Han giftet seg i 1964 med Birna Patursson.