Mas a realidade contradisse suas expectativas. A Escola Real de Ciências, Artes e Ofícios foi criada por decreto em 12 de agosto de 1816, mas não chegou a ser instalada. Em 12 de outubro de 1820 foi promulgado um novo decreto, oficializando a criação da Real Academia de Desenho, Pintura, Escultura e Arquitetura Civil, mudando o objetivo inicial de uma escola de ofícios e transformando a instituição em uma academia de arte, mas sua estrutura foi considerada inadequada e também não foi instalada. Assim, em 23 de novembro de 1820 um novo decreto alterou a estrutura da escola, voltando a incluir o ofícios mecênicos. Embora com o apoio real, a missão encontrou resistência entre os artistas nativos, ainda seguidores do Barroco, e ameaçava a posição dos mestres portugueses já estabelecidos. A verdade é que os franceses foram recebidos como importunos tanto por portugueses quanto por brasileiros. A rainha D. Maria I faleceu em 1816, e o projeto de modernização da capital avançava lentamente. O governo central tinha muitas outras preocupações a atender — o acompanhamento da instável situação na Europa, uma revolução em Pernambuco, as constantes demandas administrativas internas, o alto custo de manutenção da corte, uma recessão provocada pela drástica queda no preço internacional do açúcar e do algodão, uma grave seca no Nordeste que desestruturou a economia regional, e os conflitos de fronteira no sul na Questão Cisplatina, subtraindo recursos e atenção do projeto cultural francês. O principal e um dos únicos incentivadores ativos do projeto, o Conde da Barca, faleceu no ano seguinte, o contrato dos artistas foi posto em discussão e o cônsul francês no Brasil, coronel Maler, não via com bons olhos a presença de bonapartistas, sendo mais tarde acusado por Taunay de ser o principal entrave ao bom desenvolvimento do projeto.