H.P. Carlsen kom fra en fattig familie. Hans talent ble oppdaget på Teknisk Skole i Odense, og han ble hjulpet inn på Kunstakademiet i København i 1875. Han var med i vennekretsen av malere fra akademitiden sammen med L.A. Ring, H.A. Brendekilde, Julius Paulsen og Søren Lund, som frekventerte gårdeier Lars Ebbesen i Rågelund.