Nordmennene gikk til angrep med 26 kanonbåter fra Gravningsund 21. mai og kom fram til Tjurholmen utenfor Dynekilens munning. Svenskene trakk seg tilbake inn i Dynekilen og forsøkte å lokke nordmennene etter. Den svenske hovedstyrken hadde raskt kommet tilbake, Carlheim-Gyllensköld ønsket å gå til angrep fra Hallsö sund mellom Norra og Södra Hallsön, men det ble for mørkt mot aftenen. I ly av mørket trakk nordmennene seg tilbake fra Tjurholmen uten at et skudd ble løsnet. Dette oppmuntret svenskene til å bli mer dristige, og flere rekognoseringstokter fra Dynekilens munning mot Hvalerøyene ble gjennomført frem til 27. mai. Om morgenen den 27. mai 1808 gikk Carlheim-Gyllensköld til angrep mot nordmennene med cirka 30 kanonbåter. De fant seks til sju norske kanonsjalupper i Gravningsund som trakk seg tilbake. I det trange sundet ble de satt under ild fra en 24-punds kanon på land. Nordmennene kom tilbake, og med godt posisjonerte kanonbåter tok de svenskene under drepende ild. Slaget ved Hvalerøyene sluttet med svensk nederlag, og en kanonbåt ble totalt ødelagt. Danske kilder oppgir at 20 ble drept og såret, ifølge Carlheim-Gyllensköld ble to såret.