Serkin var det femte av de i alt åtte barna til den russiske sangeren . Familien hadde økonomiske problemer, men gutten fikk likevel anledning til å utfolde sin kunstneriske begavelse, også takket være en kvinnelig mesén som tok ham til seg til seg da han var ti-år. Hun formidlet kontakt med den læreren som fikk den største innflytelsen på ham, Arnold Schönberg. Serkins løpebane som konsertpianist startet da han som tolvåring fikk mye oppmerksomhet i Wien da han framførte Mendelssohns . I 1920 flyttet Serkin til Berlin og startet på en stor solistkarriere.