Tras las elecciones del 25 de mayo de 2003, en las que fue candidato Francisco Camps, Olivas deja la política activa y en enero de 2004 es nombrado presidente de Bancaja, la Caja de Ahorros de Valencia, Castellón y Alicante, y del Banco de Valencia.