Rudi Carrellin isä ja isoisä olivat viihdealan taitajia, ja isä tutustutti hänet showbisnekseen. Rudi sai viikoittaisen esiintymismahdollisuuden Hollannin radion AVROn ohjelmassa vuodesta 1955 ja vuodesta 1959 hänen oma Rudi Carrell Show’nsa pyöri televisiossa. Rudi Carrell lauloi viihteellisiä ironisia lauluja ja osallistui jopa Euroviisuihin vuonna 1960 kappaleellaan "Wat een Geluk" (Mikä onni) sijoittuen viimeistä edelliseksi, mutta kappaleesta jäi hänelle tunnusmelodia. Rudi Carrell esiintyi myös pääosassa Robinson Crusoe -tulkinnassa 1964, jossa hänellä oli mukanaan apina "Vrijdag" (Perjantai) sekä israelilaissyntyinen laulajatar Esther Ofarim merenneitona. Tästä heille myönnettiin Montreux'n Hopeinen ruusu. Belgialaisen viihdetaiteilija Bobbejaan Schoepenin kanssa Carrell teki yhteistyötä 1971 - 1972.