03年12月11日，做为交易的一部分，布朗被交易至纽约洋基队；道奇队换来了、、及260万美元的现金。2004年，他缴出10胜6败、防御率4.09、三振83次的成绩；但又遇到健康问题，布朗因为一场先发投不好被换下场，感到挫折捶打墙壁而打断了左手。他在美国联盟分区赛表现不错，对战明尼苏达双城队拿下1胜。但令人深刻的是在美国联盟冠军赛第7战中，面对波士顿红袜队，不到2局狂失5分，还包含大卫·欧提兹的2分全垒打。2005年布朗复出，但由于伤病缺席本赛季的几场比赛，他的成绩为4胜7败、防御率6.50。2006年2