In den folgenden Jahren büßte das Museums durch den Mangel an Inspiration der Kuratoren an Prestige ein. Ein Brand im Jahr 1905 beschädigte die Räumlichkeiten und einige Werke, hauptsächlich der flämischen und niederländischen Schulen, sowie die "Schlacht bei Hastings" von François Debon.