Han var sønn av musiker Sigurd O. Westbye (1881–1972) og moren het Ingertha (1878–1968). Finn giftet seg med den franske sangerinnen Germaine Gracia (1928–).