Sørensen var sønn av kunstmaler Henrik Sørensen (1882–1962) og Gudrun Kleve (1884–1944). Moren var fra Kongsberg og søster til Halfdan Cleve (1879–1951) som var pianist og komponist. Han var født i Paris med kunstmaleren Joronn Sitje (1897–1982) som jordmor og bodde der til 1927. Somrene ble tilbrakt ved den norske kunstnerkolonien i Holmsbu.