Po szkole średniej, Brewer trafił na uczelnię University of Florida, gdzie przez trzy lata grał w drużynie uczelnianej Florida Gators. 18 grudnia 2005 uzyskał pierwsze w historii uniwersytetu triple-double, zdobywając 15 punktów, 10 zbiórek i 13 asyst. Z uczelnią Florida, w latach 2006 i 2007 zdobył dwa mistrzostwa NCAA. 5 kwietnia 2007 zgłosił się do draftu. Został w nim wybrany z siódmym numerem przez Minnesota Timberwolves.