Goldmans far var forretningsmann i Chicago. I utgangspunktet gjorde han det meget bra, men han var alkoholiker og til slutt kollapset forretningene hans. Han «vendte hjem for godt og tilbragte sine siste fem leveår i pysjamas» ifølge sønnen. Maurice Goldman tok sit eget liv mens sønnen fortsatt fikk på High School. Moren Marion var døv, og dette satte også sitt preg på oppveksten William Goldman.