布朗在新秀赛季场均20.9分、5.5篮板、5.9助攻，是继辛辛那提皇家（国王前身）后卫奥斯卡·罗伯逊及麦可·乔登后，NBA史上第三位于新秀球季就能得到平均「20分、5篮板、5助攻」的球员。这个赛季骑士的成绩是35胜47负，比上季多赢得18场比赛，未能进季后赛。2004-05年赛季，2005年1月19日，对决波特兰拓荒者，全场攻下27分、11篮板、10助攻，完成个人职业生涯的第一次「大三元」。2月20日，詹姆士生涯首次入选为NBA全明星赛东区先发球员，缴出13分、8篮板、6助攻，最后东区明星队以125-1