Nestor blir senere venn med Irma La Douce (spilt av Shirley MacLaine) en populær prostituert. Nestor forsvarer Irma mot hennes voldelige hallik, Hippolyte, og de flytter inn sammen, men han blir snart hennes nye hallik. Ved å bruke en forkledning oppfinner han et alter-ego, "Lord X", en britisk lord, som blir Irmas eneste klient. Men Nestor må samtidig finne seg mye mer arbeid for å tjene penger som "Lord X" betaler til Irma. Når Irma ønsker å forlate Paris sammen med den fiktive Lord X, bestemmer Nestor seg for å avslutte opplegget.