Leroy Anderson ble født i Cambridge i Massachusetts av svenske foreldre. Hans far var fra Övarp utenfor Kristianstad. Hans mor var fra Stockholm. Moren var organist, og ga gutten pianotimer.