约瑟夫大学的第一个赛季凭借其爆发性的表现，获选为全美年度最佳新人，且在往后两个赛季持续成长，尼尔森本来表示将投入2003年NBA选秀，但最后决定回到学校参加他大四的最后一个赛季。尼尔森在2003-04赛季带领球队取得开季27连胜，他与二年级后卫德隆蒂·韦斯特被认为是全美最佳的后场组合，不但带领球队打入NCAA总锦标，且名列为第一种子，一路杀进最终四强才败给奥克拉荷马州立大学，尼尔森在大四这一年缴出场均20.6分、5.3助攻、4.7篮板及3.0抄截，并带领球队取得30胜2负的队史最佳战绩，因而获得、奈史密