Da Garrett var fire år gammel kjøpte faren en fiolin til hans eldre bror. Den unge Garrett ble interessert og lærte fort å spille. Et år senere deltok han i en konkurranse og vant førstepremien. I en alder av syv år studerte han fiolin ved konservatoriet i Lübeck. Da han var ni år gammel debuterte han på festivalen Kissinger Sommer, og i en alder av 12 begynte Garrett å jobbe med den anerkjente polske fiolinisten Ida Haendel, og reiste ofte til London og andre europeiske byer for å møte henne.