Своєю грою за цю команду привернув увагу представників тренерського штабу іспанського клубу «Атлетіко» (Мадрид), до складу якого приєднався 1973 року. Він дебютував в іспанській Прімері 12 жовтня в матчі проти «Еспаньйола» (0:1) і того ж сезону став віце-чемпіоном Іспанії. В наступні роки з «матрацниками» він виборов титул чемпіона Іспанії та став володарем Кубка Іспанії. Також команда стала фіналістом Кубка європейських чемпіонів 1974 року, де програла «Баварії». Тим не менш німці відмовились від участі у Міжконтинентальному кубку і «Атлетіко» отримав право зіграти проти аргентинського «Індепендьєнте». У першому матчі латиноамериканці виграли 1:0, втім у другій грі на стадіоні «Вісенте Кальдерон» мадридці виграли 2:0, а вирішальний гол, який приніс «Атлетіко» звання найкращої команди світу, забив саме Аяла. Загалом Рубен виступав у складі «Атлетіко» до кінця сезону 1979/80. Всього він провів 169 матчів у Прімері, забивши 45 голів.