1958 року Рівілья повернувся в «Атлетіко», за який дебютував у Ла Лізі 21 вересня 1958 у гостьовому матчі проти «Валенсії» (2:4). Свій перший гол у чемпіонаті він забив 1 лютого наступного року в грі проти «Севільї» (3:3). У наступні роки Рівілья став основним правим захисником команди, яка переживала «золотий» період, під час якого футболіст з командою виграв чемпіонат сезону 1965/66 років та три Кубки Іспанії, у тому числі 1960 року, перший коли-небудь виграний клубом. Також Фелісьяно допоміг клубу здобути перший міжнародний трофей в його історії — Кубок володарів кубків УЄФА у 1962 році, зігравши у дев'яти іграх по ходу того турніру. Наступного року команда з Рівільєю знову вийшла у фінал цього турніру, але цього разу мадридці зазнали розгромної поразки від «Тоттенгем Готспур» (1:5).