Etter å ha spilt i skoleorkestret på Korsløkkeskolen, vant han i 1958, som 15 åring, sammen med sitt band The Ready Rock Boys en amatørkonkurranse i Fyns Tivoli. Samme år debuterte han med sin første profesjonelle jobb, ved innvielsen av Allesøhallen på Fyn. I 1959 skiftet han band til The Cliffters og gikk to år senere inn på førsteplassen på den danske singlehitlisten med hiten «How Wonderful to Know». Deretter turnerte de i Tyskland og Nord-Europa og opptrådte i 1962 som backingband i Cirkusrevyen. I 1963 ble The Clifters oppløst og Johnny Reimar dannet i stedet bandet The Scarlets, som også hurtig ble populære og fikk flere hits på den danske hitlisten.