El edificio fue diseñado y construido entre 1873 y 1875 por Francisco de Cubas, para servir a la vez como residencia y museo del doctor Velasco, que invirtió en él todos sus ahorros.