Mouskouri's zangcarrière verliep vanaf dat moment voorspoedig. In 1961 verzorgde ze de soundtrack van een Duitse documentaire over Griekenland, wat uitmondde in de Duitstalige single "Weiße Rosen aus Athen", waarvan in Duitsland ruim een miljoen exemplaren werden verkocht. Het liedje zou later in verschillende talen vertaald worden. In 1963 ging Mouskouri in Parijs wonen en vertegenwoordigde ze Luxemburg op het Eurovisiesongfestival, waar ze achtste werd met "À force de prier". In 1964 en 1967 won Mouskouri een Grand Prix du Disque (Frankrijks belangrijkste prijs voor plaatopnamen) voor achtereenvolgens de albums "Mes plus belles chansons grecques" en "Le cœur trop tendre". In Frankrijk leerde ze ook componist-arrangeur en dirigent Michel Legrand kennen, die twee liedjes voor haar schreef die daar een hit werden: "Les Parapluies de Cherbourg" (1964) en "L'Enfant au Tambour" (1965), een arrangement van "The Little Drummer Boy". In hetzelfde jaar dat haar succesvolle Franstalige album "Le Jour où la Colombe" verscheen (1967), trad Mouskouri ook voor het eerst op in de oudste concertzaal van Parijs, het Olympia.