Alexander Rybak har spilt fiolin og piano siden han var fem år gammel, men han valgte etter hvert å konsentrere seg mest om fiolinen. Rybak øvde på fiolin sammen med sin far Igor Rybak helt til han ble tenåring, da begynte han å studere hos professor Isaac Schuldman ved Norges musikkhøgskole. Han spilte i den perioden også for Vivaldi-orkesteret (ledet av hans far) og Barrat Dues Juniororkester.