Villnäs ble i over tre hundre år eid av slekten Fleming, og deretter over hundre år 1795–1903 av slekten Mannerheim. Carl Gustaf Mannerheim ble født på Villnäs slott i 1867. Hans gren av familien måtte selge eiendommen i 1880 etter farens konkurs.