Cuando Scalia tenía cinco años, su familia se mudó a Elmhurst en Queens, Ciudad de Nueva York, durante aquel período su padre trabajó en el Brooklyn College en Flatbush, Brooklyn.