Carroll sammelte erste Bühnenerfahrungen als Mitwirkender bei verschiedenen Varieté-Shows, bei denen er auch seine erste Frau Millicent Martin kennenlernte. 1956 unterzeichnete er einen Vertrag mit Philips Records und hatte auch noch im selben Jahr mit dem Lied "Walk Hand in Hand" seinen ersten kleineren Hit. 1960 nahm er mit dem Lied "Spring, Summer, Autumn and Winter" zum ersten Mal an der britischen Vorentscheidung zum Eurovision Song Contest teil, schaffte es aber nicht, sich in der zweiten Vorrunde für das Finale zu qualifizieren. 1962 nahm er erneut am Vorentscheid teil und war diesmal erfolgreicher: Mit dem von Syd Cordell getexteten und Stan Butcher komponierten Lied "Ring-A-Ding Girl" konnte er sich gegen die elf anderen Teilnehmer durchsetzen und gewann damit das Ticket für Luxemburg. Beim Eurovision Song Contest 1962 war er recht erfolgreich; mit zehn Punkten erreichte er einen geteilten vierten Platz unter 16 Teilnehmern. Obwohl die Single nur Platz 46 in den Charts erreichte, nahm er 1963 zum dritten Mal am Vorentscheid teil und konnte erneut gewinnen, diesmal mit dem Lied "Say Wonderful Things" (Musik von Philip Green und Text von Norman Newell). Beim Eurovision Song Contest 1963 in London erreichte er erneut den vierten Platz. Diesmal erhielt er 28 Punkte, allerdings nach einem anderen Wertungssystem. Das Lied war diesmal auch kommerziell ein Erfolg und erreichte Platz sechs in den britischen und irischen Singlecharts.