Willę zbudowano przy ulicy Fuerstenstrasse (obecnie ul. Różyckiego). Neisserowie mieszkali w niej do śmierci (Toni do 1913, Albert do 1916), urządzając w domu liczne spotkania dla artystów. Po śmierci Alberta Neissera, na mocy jego darowizny z 1913 r., dom oraz zgromadzona w nim kolekcja stały się własnością miasta, z zastrzeżeniem urządzenia w nim muzeum. Otwarto je w 1920 jako oddział Śląskiego Muzeum Rzemiosła Artystycznego, jednak po 1934 r. hitlerowskie władze zlikwidowały placówkę, ze względu na żydowskie pochodzenie jego fundatorów, a zbiory zostały przeniesione do innych budynków Śląskiego Muzeum Rzemiosła Artystycznego i, w mniejszym stopniu, do Muzeum Zamkowego. Proces likwidacji mzueum zakończono w 1936 r. Willa uległa zniszczeniu w trakcie walk o Wrocław w 1945 r.