Etter flere år som skuespiller begynte Kavinskys musikkarriere i 2005, etter at han ble inspirert av vennene Jackson Fourgeaud og Quentin Dupieux. Dupieux brukte også Kavinskys musikk i filmen sin, . Det var i denne perioden at Kavinsky produserte sin første singel, , som ble inspirert av Ferrari-modellen Testarossa (en bil Vincent kjører i virkeligheten). Kavinsky presenterte singelen for Quentin, som viste den videre til et plateselskap han hadde fått kontakt med gjennom sin filmkarriere. Det hele endte med at Kavinsky fikk en kontrakt med Record Makers.