Sin embargo dicho espacio pronto resultó insuficiente, por lo que en 1785 Carlos III decidió encargar al arquitecto Juan de Villanueva la construcción de un nuevo edificio ubicado en el "Salón del Prado", aunque posteriormente dicha edificación sería asignada al entonces recién constituido Museo del Prado, no llegando el Real Gabinete a ocuparla nunca.