Нелёгким для Монтойи стал 2004 год из-за трудностей с настройками и неидеальных отношений с руководством команды. Первая и единственная победа в этом сезоне была одержана на последней гонке сезона — ГП Бразилии-2004 на автодроме Интерлагос — она стала блестящим последним аккордом в его отношениях с Williams. Со следующего сезона он перешёл в команду McLaren.