Phil Silvers estuvo casado con Jo-Carroll Dennison de 1945 a 1950, año en que se divorciaron, y con Evelyn Patrick, de 1956 a 1966.