Sus padres fueron Gregorio Ramírez y Otárola (1749-1803), teniente de gobernador de San José en 1791, y Rafaela Castro y Alvarado.