Já antes da sua construção, os terrenos onde mais tarde se viria a implantar o Palácio Quintela haviam sido ocupados por casas nobres pertencentes aos Condes de Vimioso: são arrematados em hasta pública, em 1648, por D. Afonso de Portugal, Marquês de Aguiar e Conde de Vimioso mas só em 1679 o Conde D. Miguel de Portugal converte a pequena moradia lá existente num palácio digno do seu estatuto nobiliárquico. A 25 de Novembro de 1726, o Palácio dos Condes de Vimioso é reduzido a escombros por um violento incêndio; as ruínas são compradas pelo licenciado André Rodrigues da Costa Barros, que nunca chegou a promover a reconstrução do palácio e, finalmente, a 1 de Novembro de 1755, o que restava do edifício é destruído no Terramoto de 1755. Nesse local, econtravam-se também cavalariças reais, e ainda um troço da Cerca Fernandina, que passaria sensivelmente pelo meio do actual palácio, nas imediações do qual se encontraria a Porta do Duque de Bragança.