Il museo occupa una parte dell'antico monastero delle Benedettine di Sant'Apollonia;fondato nel 1339 e ingrandito nel Quattrocento.Nel 1447 circa;Andrea del Castagno affrescò la parete di fondo del refettorio con l'Ultima Cena;la Crocifissione;la Deposizione e la Resurrezione.Nel museo sono esposti anche altri affreschi staccati di Andrea del Castagno con le relative sinopie e dipinti di Paolo Schiavo e di Neri di Bicci;provenienti dal monastero.