Drexler jugó en la Universidad de Houston donde, junto a Hakeem Olajuwon y Larry Michaux, constituyó la fraternidad de baloncesto "Phi Slamma Jamma", conocida por las habilidades aéreas de sus miembros.