Im Februar 2004 verließ er Florida und unterschrieb einen Vertrag beim FC Barcelona. Dieser Wechsel innerhalb der Saison sowie das vorherige Inbetrachtziehen eines Wechsels wurde ihm seitens seiner Mannschaftskollegen und auch des Trainers übel genommen. Drejer absolvierte bis zum Ende der Saison 2004/05 insgesamt 29 Spiele in der spanischen Liga und sechs Spiele in der Euroleague für Barca. Die Zeit beim FC Barcelona bezeichnete er in einem Interview später als "furchtbar". In diese Zeit fiel der NBA Draft 2004, bei dem Drejer von den New Jersey Nets (zweite Runde, 51. Stelle) ausgewählt wurde.