Knivsø lå på Anker-slektens 150 000 mål store eiendom, der lystgården Rød herregård var hovedsetet. Peter Anker giftet seg med 19 år gamle Nini Roll i 1892, og Nini fikk Knivsø i morgengave av sin mann dagen etter bryllupet. Ekteparet bodde på Knivsø til 1903, da de flyttet inn på Rød herregård. På denne tiden var Knivsø utsmykket med dragestil på taket, hovedbygningen hadde et ekstra tårn/etasje, og verandaen strakte seg lenger mot vest enn i dag (2023).