Ramel ble etter foreldrenes død tatt vare på av sin fars søster, Elsie Virgin, og studerte ved Sigtuna Humanistiska Läroverk. I hele sin skoletid viet han seg imidlertid mindre til å lese lekser enn til å tegne og spille musikk. Populære artister og jazzmusikere som Bing Crosby, Fats Waller, Nat Gonella, Spike Jones og Harry Roy gjorde dypt inntrykk på ham. I stedet for å ta studentereksamen, studerte han i noen ungdomsår tegning og piano.