William James Sidis ble født i New York som sønn av psykologen Boris Sidis og legen Sarah Mandelbaum Sidis. Foreldrene var jøder som flyktet fra pogromene i Ukraina. Boris studerte filosofi og medisin ved Harvard og underviste i psykologi samme sted. Etter hvert ble han kjent som en pionér innenfor amerikansk psykologi, og utga en rekke bøker og artikler om psykopatologi. Familien bodde først i en beskjeden leilighet på Central Park West i New York. Han ble oppkalt etter gudfaren sin, Boris' venn og kollega William James.