ブラウンは、ユダヤ教保守派の両親、アーヴィンとスーザン（旧姓シュリセル）のもとに、ニューヨークで生まれた。アーヴィンの両親は、ホロコーストからぎりぎり逃げ切ることができ、1956年まで ハンガリーで暮らしていた。その後、ソ連がハンガリー動乱を沈静化するべく介入した直後に、アメリカに逃れた。 クィーンズ区で育ったアーヴィンは歯科医になり、その交際者スーザンは矯正歯科医になった。二人は結婚後、コネチカット州、グリニッジに定住する。