Han var sønn av biskop John Cullberg og bror av maleren Erland Cullberg og Staffan Cullberg som har vært sjef for Statens konstråd.