В начале сезона 2003/04 О’Ши забил свой первый гол за «Манчестер Юнайтед»: мяч ирландца обеспечил его команде победу над «Вулверхэмптоном» (1:0). По ходу сезона Рио Фердинанд не играл 5 месяцев из-за дисквалификации, полученной после пропуска теста на допинг. Джон О’Ши заменил Фердинанда в центре обороны и помог «Манчестеру» выйти в финал Кубка Англии, в котором манкунианцы обыграли «Миллуолл» со счётом 3:0. Сам Джон провёл на поле все 90 минут.