I 1966 giftet han seg med Filippa Kumlin d'Orey fra Sverige. Sangeren/låtskriveren Leona Næss er ett av tre barn fra dette forholdet. De andre to barna heter Katinka og Christoffer. Etter skilsmissen fra d'Orey hadde han et kort og flyktig forhold til skuespilleren Mari Maurstad. I 1985 møtte han souldivaen Diana Ross på en reise til Bahamas. De giftet seg senere samme året og fikk to sønner, skuespilleren Evan Olav Næss (født 26. august 1988) og Ross Arne Næss (født 7. oktober 1987). Næss Jr. og Diana Ross skilte seg i 1999. De siste fem år av sitt liv levde Næss sammen med Camilla Astrup fra Oslo, og paret fikk to sønner.