Su abuelo, Antonio Ramírez de Arellano y Baena, era natural de Lucena, luchó en la Guerra de la Independencia y fue abogado de los Reales Consejos y miembro de una sociedad económica, la Real Asociación Laboriosa de Lucena; con el levantamiento de Rafael del Riego apoyó el régimen liberal y a su caída fue recluido en Cádiz; en 1838 fue nombrado juez de Málaga; su hijo Teodomiro Ramírez de Arellano, que estudió Magisterio sin llegar a terminarlo y se dedicó al periodismo en Madrid, donde cofundó "La Correspondencia de España", y en Córdoba, donde fundó "La Crónica", fue el padre de Rafael, y trabajó como oficial en la Administración del Estado en diversos gobiernos civiles (Córdoba y Sevilla) y como secretario en los de Ciudad Real, Jaén, Alicante, Murcia y Sevilla.