Han var sønn av Carl Rudolf Cramér (1887–1966) og Sonja Dahlerus (1888–1981). Ivo var nevø av statistikeren Harald Cramér (1893–1985) og var gift med den finskfødte koreograf og skuespiller Tyyne Talvo (1919–1983). De etablerte .