Cliff nació en Johannesburgo, Sudáfrica, siendo el cuarto hijo de la pareja formada por Emmanuelle y Phylis Simon, de ascendencia polaca y lituana.