Se casó con la actriz Gerda Müller, y luego con la compositora china Xiao Shuxian, con quien tuvo su hija Tona Scherchen.