Den britiske oppdagelsesreiseren Matthew Flinders, kaptein på HMS , kalte landet "Kanguroo Island" i 1802 etter at han havnet nært Kangaroo Head på den nordlige kysten ved Dudley Peninsula. Han ble fulgt tett av den franske oppdagelsesreiseren Nicolas Baudin, som kartla og navnga store deler av øya (derfor har mange steder på øya franske navn). Selv om franskmennene og britene var i krig på den tiden, møttes Flinders og Baudin fredelig. Begge brukte ferskvannet som sivet ved Hog Bay i nærheten av Frenchman's Rock; tettstedet kalles nå Penneshaw.