Kramer ble født i Sør-Afrika og studerte klassisk piano, cello og fiolin som barn. Han gikk på South African College of Music for å lære klassisk piano. Han begynte så å få interesse for jazz. Han flyttet til England som 19-åring, hvor han spilte inn musikk for lokale jassband i et hjemmestudio. I 1964 ble han ansatt i Pye Studios og begynt å jobbe med blant andre Sammy Davis jr., Petula Clark og The Kinks. Han begynte så å jobbe for Olympic Sound Studios i London, hvor han arbeidet på plater for blant andre Small Faces, The Beatles, The Rolling Stones og Jimi Hendrix.