В 1902/03 «Шеффилд Юнайтед» был одним из претендентов на чемпионский титул, но неудачное завершение сезона отбросило клуб на четвёртую строку турнирной таблицы. В этот период в составе клуба выступали Герберт Чэпмен и Артур Браун, впоследствии выступавшие в составе сборной Англии. В начале следующего сезона «Шеффилд Юнайтед» вновь включился в борьбу за чемпионский титул, начав своё выступление с серии из восьми побед, но к концу сезона результаты ухудшились, и команда заняла только седьмое место. Буквально с первых лет существования клуба развернулось соперничество между «Шеффилд Юнайтед» и «Шеффилд Уэнсдей», получившее название дерби Стального города. В сезоне 1904/05 «Шеффилд Юнайтед» трижды обыграл своего соперника по городу. В довоенные годы клуб находился в Первом дивизионе: этот период был ознаменован очередной победой в Кубке Англии (1915 год): в финальной встрече, состоявшейся на стадионе «Олд Траффорд», «Шеффилд Юнайтед» одержал победу над «Челси» со счетом 3:0. Этот финал вошел в историю под названием «финал цвета хаки»: среди зрителей преобладали военнослужащие. С началом Первой мировой войны официальные футбольные турниры национального уровня в Англии были приостановлены; в военный период клуб принимал участие в региональных турнирах.