Han var gift med Marcella De Marchis fra 1936 til 1950, Ingrid Bergman fra 1950 til 1957 og Sonali Das Gupta fra 1957 til 1977. Han er far til Marco Romano Rossellini (1937–1946), Renzo Rossellini (f. 1941), Roberto Ingmar Rossellini (f. 1950), Isabella Rossellini og hennes tvillingsøster Isotta Rossellini (f. 1952), adoptivsønnen Gil Rossellini Dasgupta (f. 1956) og Raffaella Rossellini (f. 1958).