I 1994 hentet Atlético Madrid ham i en overgang som på tidspunktet gjorde Simeone til klubbens nest dyreste spiller inntil da. Som del av overgangen ble Moacir, Juanito og Pedro sendt motsatt vei. Simeone hadde oppnådd en solid status blant Sevillas tilhengere. Misnøyen overgangen skapte blant Sevillas tilhengere ble starten på et rivaliseringsforhold mellom de to klubbene. I Simeones første sesong for Atlético Madrid var laget nære på å rykke ned. Plassen ble sikret med poengdeling mot Sevilla i siste seriekamp. Året etter bidro han til at laget vant både Primera División og Copa del Rey i 1995/1996-sesongen. Etter å ha spilt i underkant av 100 seriekamper og notert seg for 21 seriemål dro han i 1997 tilbake til Serie A. Denne gangen for storklubben Internazionale. Her ble han lagkamerat med landslagskollega Javier Zanetti, og var med på å vinne UEFA-cupen i 1997/98-sesongen.