Дебют Мерфи за «Вест Бромвич» состоялся 5 марта 1930 года в матче против «Блэкпула». В следующем сезоне 1930/31 «Вест Бромвич» выиграл Кубок Англии и вышел из Второго в Первый дивизион чемпионата, хотя Мерфи провёл за клуб лишь два матча в этом сезоне. Однако уже в следующем сезоне, который «Вест Бром» проводил в Первом дивизионе, он стал игроком основы. С сезона 1931/32 по сезон 1934/35 Джимми сыграл за клуб 149 матчей и помог клубу завершить чемпионат в первой десятке на протяжении четырёх последовательных сезонов, включая четвёртое место в чемпионате в сезоне 1932/33. В сезоне 1934/35 Мерфи пропустил лишь один матч своего клуба и помог «Вест Брому» выйти в финал Кубка Англии 1935 года, в котором «"дрозды"» уступили клубу «Шеффилд Уэнсдей» со счётом 4:2.