El Palacio ha pasado por varios propietarios que le dieron diversos usos y mandada a construir originalmente en 1862 por la familia Ovalle Vicuña. Perteneció a Javier Ovalle y fue utilizado con propósitos residenciales, fue saqueada en 1891 por la guerra civil. En 1916 se convirtió en el Club de Señoras, fundado por Delia Matte Pérez, en el cual fue centro de la élite intelectual femenina de la primera mitad del siglo XX. En el lugar se realizaban diversas actividades cuya finalidad era fomentar la educación y cultura de las mujeres de la clase alta chilena de la época. Posteriormente, entre 1953 y 1966, perteneció al Partido Conservador Unido y se cambió de nombre al Club Fernández Concha en honor al senador conservador. Fue base de las operaciones del partido hasta su fusión con el Partido Nacional, del cual también pasó a ser su sede hasta el 17 de julio de 1990, fecha en la que el partido se disolvió.