温出生在美国纽约州纽约市纳苏县，他的母亲卡罗曾因为乳腺癌切除双乳房； 他的父亲亚历山大·鲍德温死于肺癌。 鲍德温是家中最小的，他的兄弟有着名演员亚历克，丹尼尔和威廉，有时被称为“鲍德温兄弟”。鲍德温出生在一个信奉天主教的家庭，他们具有爱尔兰，英格兰和法国血统。鲍德温还有2个姐妹，一个叫伊丽莎白，一个叫简萨。