Museet ble åpnet i 1973, med en samling av gjenstander fra gårder og fabrikker som forsvant under utviklingen av Milton Keynes. Man fant lokaler på Stacey Hill Farm, og museet hadde frem til 1989 navn etter denne gården. Samlingen vokste, og i 1989 bestemte man seg for å endre navnet til det nåværende.