Il se retire aux Granettes, à Aix, avant la Révolution de 1848. À sa mort en 1849, le contenu de son atelier, ses dessins ainsi que ses collections d’art hollandais et italien du sont légués à la ville d’Aix et constituent un fonds essentiel du musée d'Aix qui existait depuis 1825. Ce musée sera renommé en son honneur musée Granet en 1949, à l'occasion du centenaire de sa mort.