Han var barnebarn til Jan Gerard Palm (1831–1906) som ofte omtales som «den klassiske musikks far på Curaçao». Som sin fetter Jacobo Palm og sin bror John Palm var Rudolfs første musikklærer bestefaren. I barndommen spilte han flere musikkinstrument, som piano, orgel, saksofon, klarinett og tverrfløyte.