Le père et le grand-père de Carrell ont tous deux travaillé dans le showbusiness. De son père, André Carrell, il a utilisé le nom d'artiste. Le , le jeune Rudolf a remplacé son père pendant une fête d'employés du gouvernement à Arnhem. Après ça, il a été un membre de sa troupe. C'est le début de Rudi Carrell dans le showbusiness. En 1955, chaque semaine, il était dans la programme de radio "De bonte dinsdagavondtrein" de l'AVRO et en 1959, il a fait ses débuts à la télévision avec le "Rudi Carrell Show". Il était connu nationalement aux Pays-Bas après avoir participé à l'édition de 1960 du Concours Eurovision de la chanson avec la chanson "Wat een geluk" (en français, "Quelle chance"). Cette chanson était populaire aux Pays-Bas mais lors du Concours il finira avant-dernier : seule la chanson du Luxembourg était moins bien classée que celle de Rudi Carrell. D'autres chansons l'ont rendu populaire aux Pays-Bas : "Een ballonnetje", "Een muis in een molen", "De hoogste tijd" et "Samen een straatje om". À partir des années 1970, il a vécu principalement en Allemagne et y a présenté de nombreuses émissions de télévision.