Dillingøy ble bosatt allerede i eldre jernalderen (perioden fra 400 e. Kr. og fremover mot 500 e. Kr.) ved rydding av Dillingøy gård som ligger i nordenden av øya. I løpet av 1700- og 1800-åra ble det ryddet fem husmannsplasser under Dillingøy gård. I dag er to av disse borte (Hattvik og Nordøya). Øya har broforbindelse i nord mot Våler kommune og fast bosetting på fire gårdsbruk (Dillingøy gård, Ekelund, Sørpa og Nesengen). Tidligere lå administrasjonen for sivile tjenestepliktige sitt sete på Dillingøy. Dette er nå et privateid kurs- og konferansesenter.