Som freshman i 2004 ble Johnson utvalgt til førstelaget for All-Atlantic Coast Conference (ACC). Han ledet Jackets med 48 mottatte pasninger for 837 yards og syv scoringer, som var rekorder for en freshman ved skolen. Johnson avsluttet sesongen mot Syracuse i Champos Sports Bowl, hvor han scoret én touchdown.