알론소는 그의 고향 기푸스코아 주의 중심 구단인 레알 소시에다드에서 데뷔했다. 에이바르로 짧은 기간 동안 임대를 다녀온 후, 그는 당시 존 토샥이 지도한 레알 소시에다드로 복귀해 주장을 맡았었다. 알론소는 주장으로 훌륭한 활약을 펼쳐 레알 소시에다드를 2002-03 시즌 준우승으로 이끌었다. 2004년 8월, 그는 리버풀로 £10.5M에 이적했다. 그는 이적 후 첫 시즌에 라파엘 베니테스 감독의 지도 하에 UEFA 챔피언스리그 우승을 거두었고, 그는 밀란과의 결승전에서 동점골을 넣기도 했다. 그 다음 시즌, 그는 FA컵과 FA 커뮤니티 실드 우승을 거두었다. 그는 2009-10 시즌을 앞두고 레알 마드리드에 £30M의 이적료에 입단했다. 구단에서 5년을 보낸 그는 2012년에 리그 우승을 거두었고, 2014년에는 UEFA 챔피언스리그 우승도 거두었으며, 이후 독일 분데스리가의 바이에른 뮌헨과 2년 계약을 맺고 합류했다.