Arbeloa var gutte- og juniorspiller i Real Zaragoza, men gikk til Real Madrid i 2001. Der spilte han frem til 2006 på enten A-, B- eller C-lag, og debuterte på Reals førstelag mot Real Betis 16. oktober 2004. Han var kaptein på B-laget til Real Madrid hvor han i sin siste sesong spilte 33 av 44 kamper, og fikk 16 gule kort.