San José werd geboren in Madrid. Hij sloot zich op twaalfjarige leeftijd aan bij de jeugdopleiding van Real Madrid. Na enkele jaren bij Real Madrid Castilla, het beloftenelftal van de club, stroomde San José door naar het eerste elftal. De Madrileen zou uiteindelijk 271 officiële wedstrijden voor de club spelen (waarvan 183 in de competitie, 42 in de beker en 32 in Europa). Dit leidde tot vier landstitels, vier bekeroverwinningen en twee UEFA Cups. San José viel in 1983 in tijdens de verloren Europacup II-finale tegen Aberdeen FC, twee jaar eerder was hij tijdens de verloren Europacup I-finale tegen Liverpool FC op de bank gebleven.