Sven Oluf Sørensen vokste opp omgitt av malere og andre intellektuelle fra barnsben av. Derfor kom kunsten til å ha en viktig plass i hele hans liv. Allerede som tenåring var han selv en dyktig tegner og laget blant annet lange tegneserier inspirert av en mulig reise til Mars. Senere begynte han også å male og utviklet en egen stil, ofte med motiver fra Holmsbu. Han donerte i 1963 farens malerier til Holmsbu billedgalleri ved Drammensfjorden. Her samlet han også kunstverk av Oluf Wold-Torne, Thorvald Erichsen og andre fra den gamle kunstnerkolonien der. Galleriet var tegnet av Bjart Mohr og bygget i lokal granitt. Det ble åpnet i 1973 og siden holdt i gang ved hjelp av ildsjeler som Solveig Myhre og andre. For dette fikk Sørensen i 1978 Hurum kommunes kulturpris og Buskerud fylkes kulturpris.