Arne Kosmo fikk i oppdrag å tegne en familiebolig, men det var minst like viktig at bygget var tilpasset kunstsamlingen. Huset var svært nyskapende på sin tid, med betong og glassbyggerstein, innen- og utendørs søyler og store vindusflater. Det ble oppført i 1937-39, og da familien Stenersen flyktet til Sverige under den tyske okkupasjonen, overtok tyskerne villaen 12. desember 1942 og tok beslag i både møbler og kunst. Høsten 2020 ble det utført vedlikehold av fasaden for fem millioner kroner. I 2016 ble biblioteket, hagestuen og entréen tilbakeført til de opprinnelige fargene.