Gidon Kremers bestefar og far var fiolinister og musikkpedagoger, så han fikk musikkundervisning allerede som barn. I 1954 begynte han på konservatoriet i Riga og fikk undervisning av Voldemar Sturesteps. I 1965 ble Kremer elev av David Ojstrakh ved konservatoriet i Moskva.