Begin 19e eeuw maakte het park deel uit van een buitenverblijf, met daarop een villa die vele namen heeft gehad, waaronder "Witsenburg" en "Schoonoord". Het was eigendom van de Amsterdammer Jan Jacob Knuppel. In 1897 kwam de villa in eigendom van de Rotterdammer Anthonie Cankrien. Tijdens de Tweede Boerenoorlog in Zuid-Afrika hernoemde hij de villa 'Colenso', naar John William Colenso (1814–1883), wegens zijn anti-Engelse houding. Tijdens de Duitse bezetting werd de villa gebruikt om in beslag genomen radioapparatuur in op te slaan. De villa werd na de oorlog afgebroken om ruimte te maken voor de nieuwe Rijksstraatweg. Het Colensopark is nu een overblijfsel van dat buitenverblijf.