1939 heiratete Pills die Sängerin Lucienne Boyer. Ihr gemeinsames Kind ist Eliane Ducos, die unter dem Künstlernamen Jacqueline Boyer 1960 den Eurovision Song Contest für Frankreich gewann. 1952 heiratete er die französische Sängerin Édith Piaf, von der er 1956 jedoch wieder geschieden wurde.