Aboriginene på fastlandet kalte øya for («De dødes øy» på et språk). Man regner med at det var aboriginer bosatt på Kenguruøya for minst 10 000 år siden, da øya ble atskilt fra Australias fastland på grunn av en økning i havnivået. Øya forble tilsynelatende tilgjengelig for båter ved lavvann inntil havnivået stabilisert seg rundt 6000 år siden, da Backstairs Passage ble for grov. Som et resultat av fullstendig adskillelse fra rundt år 5000 til år 2000, ble klimaet gradvis svekket. Flere små ildplasser datert 6000, 5200 og 4300 år har blitt funnet, men det er ukjent om disse tilhører besøkende eller fastboende.