Karierę koszykarskiej rozpoczynał w barwach drużyny koszykarskiej uniwersytetu stanowego Michigan. W swoim ostatnim roku tam zdobywał średnio 17,2 punktów i 4,4 zbiórki na mecz. Został też wybrany do drugiej piątki konferencji Big Ten Conference i do pierwszej piątki najlepszych obrońców. Po trzech latach studiów zgłosił się do draftu NBA, w którym został wybrany z 25 numerem przez Cleveland Cavaliers. W pierwszym sezonie na parkietach NBA wystąpił jedynie w 23 meczach (5 w pierwszej piątce). 2 marca 2007 został oddany do zespołu występującego w NBA D-League, Albuquerque Thunderbirds. W jedynym meczu w jakim tam wystąpił zdobył 14 punktów, 4 zbiórki i 6 asyst. Następnego dnia Brown ponownie wrócił do Cleveland. 11 stycznia 2008 Brown ponownie trafił do D-League, tym razem do drużyny Rio Grande Valley Vipers. W czterech meczach zdobywał średnio 23,8 punktów, w tym, w spotkaniu przeciwko Dakota Wizards zdobył 37 punktów. 17 stycznia został ponownie wezwany do Cleveland. W sezonie 2007/08 NBA Brown wystąpił 15 meczach, w tym 4 w pierwszej piątce zdobywając średnio 7,0 punktów na mecz. 21 lutego 2008 roku w ramach wymiany trzech klubów został zawodnikiem Chicago Bulls. 6 sierpnia podpisał kontrakt z Charlotte Bobcats. 7 lutego 2009 r., razem z Adamem Morrisonem zostali wymienieni do Los Angeles Lakers w zamian za Vladimira Radmanovicia. Z tym zespołem Brown dwukrotnie wywalczył mistrzostwo ligi NBA w latach 2009 i 2010. Wziął udział w konkursie wsadów podczas Weekendu Gwiazd NBA 2010. 16 lutego 2010, przeciwko Golden State Warriors, Brown poprawił rekord kariery, notując 27 punktów i 10 zbiórek, co było jego pierwszym double-double w NBA.