Han er sønn av murersvenn Odd Nilsen (1917–1964) og industriarbeider Ellinor Jensen (1917–2003). Farsslekten har arbeidet innen murerfaget i flere generasjoner. Oddvard Nilsen er gift med Torill Nilsen (1948–), som var medlem av Askøy kommunestyre 1995–2003. Paret har tre sønner sammen, heriblant fylkesordfører Tom-Christer Nilsen (1969–) og friidrettsutøver Trond Erik Nilsen (1972–).