В 2004 году Оларра во второй раз принял участие в розыгрыше Кубка Америки в Перу. На турнире он сыграл в матчах против сборной Бразилии, Парагвая и Коста-Рики. В поединке против костариканцев Рафаэль забил свой первый гол за национальную команду.