Museum Jorns historie går tilbake til 1940 da museumsforeningen for Silkeborg og Omegn foretok sitt første innkjøp av kunst. I 1951 fikk man innredet et lokale i det lokalhistoriske museum i Silkeborg hovedgård, Silkeborg Museum, til den moderne kunsten.