Curtis Institute of Music
バンクーバーの生まれ。父親はブレスト・リトフスクからアメリカへの移住者で、母親はアメリカ人。スコロフスキーは生後間もなく一家でロサンゼルスに移り住んだ。５歳の時に両親からハーモニウムを買ってもらって音楽の勉強を始め、カーティス音楽学校でイザベラ・ヴェンゲーロヴァのクラスで学び、後に彼女の助手となった。また、レオポルド・ゴドフスキーからもレッスンを受け、1939年にナウムバーグ・コンクールで優勝している。