Дебютував за першу команду лондонців у травні 2003 року, вийшовши на поле на 89-й хвилині переможного (6:1) поєдинку Прем'єр-ліги проти «Саутгемптона». У переможному сезоні Прем'єр-ліги 2003/04 зіграв декілька хвилин в одному поєдинку, але цього було не достатньо щоб отримати медаль. У Суперкубку Англії 2004 року Гойт також вийшов, знову з лави для запасних, в цьому поєдинку «Арсенал» переміг «Манчестер Юнайтед». Вперше в стартовому складі «Арсеналу» дебютував у виїзному поєдинку проти «Норвіч Сіті», замінивши Паскаля Сігана, який травмувався на передматчевій розминці. Хоча він й визнав правомірність пенальті в переможному (4:1) для «Арсеналу» поєдинку, «"Індепендент"» написала, що «[можна було б] зіграв досить добре, щоб запобігти своїй оренді в Іпсвич». Проте оренда до Чемпіоншипу зірвалася через те, що «каноніри» провалили спробу підписати дублера для Лорана на позицію правого захисника, отож Джастін залишився в команді й до завершення сезону встиг зіграти 12 матчів у всіх турнірах.