Rundt klokken fem om morgenen den 12. august gav kontreadmiral Teddiman ordre om å åpne ild mot de nederlandske skipene som lå noen hundre meter unna. Nederlenderne besvarte ilden. De engelske skipene utenfor de dansk-norske fortene hadde fått ordre om å åpne ild først dersom festningene begynte å skyte mot dem. Men festningene sto ikke lengre under en enhetlig ledelse, og de nederlandske forsterkningene på festningene åpnet ild mot de engelske skipene. Dermed begynte engelskmennene å bestryke de dansk-norske festningene, og festningene ble tvunget til å forsvare seg mot det engelske angrepet. Rundt klokken seks gav general von Ahlefeldt ordre om å innstille ildgivningen, og heiste det hvite flagget på Bergenhus. Kontreadmiral Teddiman hadde ingen mulighet til å se dette, da hans flaggskip «Revenge» lå omgitt av kruttrøyk på den andre siden av bukta. Dessuten hadde ikke Ahlefeld lengre myndighet over sine egne festninger, og etter 15 minutter firte han flagget igjen.