El museo fue fundado en 1816 con el legado de la biblioteca y la colección de arte del séptimo vizconde Fitzwilliam.