Enquanto trabalhava no teatro de variedades ele conheceu a sua primeira esposa Millicent Martin. Conseguiu o seu primeiro sucesso em 1956 com "Walk Hand in Hand" pela Philips. Participou na seleção Reino Unido para o Festival Eurovisão da Canção 1960, mas não conseguiu vencer. Acabou por conseguir ser representante britânico no Festival Eurovisão da Canção 1962, com a canção "Ring-A-Ding Girl" que terminou em quarto lugar, a mesma posição que ele mesmo conseguiria em 1963 com a canção "Say Wonderful Things". Carroll foi o único cantor a representar o Reino Unido em dois anos consecutivos. Este sucesso foi seguido por dois sucesso no Top 10 entre 1962 e 1963, mas uma falta de de bom material significou que ele não conseguiu manter presença nos tops britânico.