Обраний на драфті 2004 під 25 номером клубом «Бостон Селтікс». У дебютному сезоні взяв участь у 77 іграх, у 34 з них виходив у стартовій п'ятірці. Був обраний учасником гри новачків НБА. За підсумками сезону Аллен посів друге 4 місце в НБА за кількістю перехоплень в середньому за 48 хвилин (2.89).