После того, как тренером команды стал Томми Дохерти, Брэбрук вынужден был покинуть команду: он перешёл в «Вест Хэм» за 35 тысяч фунтов стерлингов в 1962 году. Дебютный матч за «молотобойцев» Брэбрук провёл 22 октября 1962 года, сыграв вничью с «Бернли» 2:2. Через месяц он забил свой первый гол в ворота «Шеффилд Уэнсдей», принеся своему клубу победу 3:1. Всего за шесть сезонов в «Вест Хэме» Брэбрук провёл 215 матчей, забив 43 гола. Его одноклубниками были такие игроки, как Бобби Мур, Мартин Питерс и Джеффри Хёрст. Брэбрук выиграл Кубок Англии в 1964 году и Кубок обладателей кубков в 1965 году. В сезоне 1963/1964 он установил свой персональный рекорд, забив 12 голов (в том числе два в ворота клубов «Чарльтон Атлетик» и «Ориент» в Кубке Англии), а в финале Кубка Англии он сделал победный навес на Ронни Бойса (победа над «Болтоном» со счётом 3:2). Сезон 1964/1965 для Брэбрука обернулся множеством травм, из-за чего он сыграл всего 25 матчей в сезоне (в том числе один в Кубке обладателей кубков УЕФА); в сезоне 1965/1966 он довёл «Вест Хэм» до полуфиналов Кубка Лиги и Кубка обладателей кубков.