Povel Ramel vokste opp på Östermalm i Stockholm som sønn av advokaten Karl Johan Henrik Ramel og Märtha Tesch. Han fant sitt første publikum i barnevakter, husjomfruer og kokker. Hans foreldre oppmuntret kreativiteten hans. Foreldrene døde begge som følge av en bilulykke i 1937. Povel var med i bilen, men fikk bare lettere skader. Hele sitt voksne liv mener han seg å ha gjennomgått «ett slags bakvänt sorgearbete – i glädjens tecken».