Alexander Rybak ble født den 13. mai 1986 i Minsk. Han er sønn av Natalia Valentinovna Rybak (født 1959), som spiller piano, og Igor Alexandrovitsj Rybak (født 1954), som spiller fiolin. Familien bodde i Den belarusiske SSR frem til Alexander var fire år, da familien flyttet til Nesodden i Akershus. Etternavnet har sitt opphav fra den belarusiske og russiske yrkestittelen – «fisker», som er avledet fra – «fisk».