Han ble døpt 4. juli i Vår Frues kirke. Hans far var stavangermannen Albert Hansen Kold og hans mor var Jonetha Paulsdatter Kroppe. Faren hadde tre barn fra forrige ekteskap og fikk tre barn også med sin nye kone. Faren døde da Paul Andreas var fem år og moren giftet seg deretter med overtollbetjent Peder Olaus Høysager. De fikk fem barn. Paul Andreas hadde altså tre helsøsken og ni halvsøsken. Aldersforskjellen i søskenflokken var over 50 år.