Coloccini debuterte i den argentinske toppserien i 1998 med Boca Juniors. I 1999 dro han til italienske AC Milan, og gikk deretter via Deportivo Alavés (2001), Atlético Madrid (2002) og Villarreal CF (2003) til Deportivo de La Coruña i 2004. Sommeren 2008 ble Coloccini solgt videre til engelske Newcastle United. Han ble med det den dyreste forsvarsspilleren i Newcastle Uniteds historie. Tidligere var dette Jonathan Woodgate.