Ganwyd a magwyd Allen yn Ninas Efrog Newydd, yn fab i Nettie (llysenw Cherrie; 8 Tachwedd 1906 - 27 Ionawr 2002), a oedd yn cadw'r cyfrifon yn nelicatessen y teulu, a Martin Konigsberg (25 Rhagfyr 1900 - 13 Ionawr 2001), engrafwr gemwaith a gweinydd. Roedd ei deulu yn Iddeweg, a'i deidiau'n mewnfudwyr a oedd yn siarad Yiddish ac Almaeneg. Roedd gan Allen chwaer, Letty (ganwyd 1943), magwyd hwy yn ardal Midwood, Brooklyn. Ganwyd a magwyd ei rieni yn Lower East Side Manhattan. Nid oedd ei blentyndod yn un hapus er ei fod o deulu dosbarth canol. Nid oedd ei rieni'n cyd-dynnu ac roedd y berthynas gyda'i fam anwadal, llym yn un bregus. Siaradodd Allen Yiddish yn ei flynyddoedd cynnar, ac ar ôl mynychu Ysgol Hebraeg am wyth mlynedd, aeth i Ysgol Gyhoeddus 99 ac i Ysgol Uwchradd Midwood. Yn ystod y cyfnod hwnnw, bu'n byw mawn fflat yn 1402 Avenue K, rhwng Strydoedd East 14th a 15th. Fe enillodd y llysenw ""Red"" oherwydd ei wallt coch; gwnaeth argraff dda ar y myfyrwyr eraill gyda'i ddawn anhygoel o wneud triciau hud a chardiau. Trwy ei bersonoliaeth mewn ffilm a chomedïau, mae'n aml wedi cyfleu ei hun fel rhywun sy'n gorfforol yn analluog ac yn amhoblogaidd yn gymdeithasol, mewn gwirionedd, roedd Woody Allen yn fyfyriwr poblogaidd ac yn chwaraewr pêl fasged a pêl fâs medrus.