Hesselberg var allerede i en fremrykket alder, da han overtog sin nye stilling, som i de bevægede tider, der nu forestod, blev meget besværlig. Bergens beliggenhed var udsat, og kommandanten måtte være på sin post for at hævde neutraliteten. I 1804 indesluttede englænderne nogle armerede bataviske skibe i Bergen, og de fjendtlige eskadrer leverede hinanden flere træfninger på norsk søterritorium. Hesselbergs personlige sympatier har vel nærmest været på hollændernes side, hvis kække fører, St. Faust, blev forlovet med hans næstældste datter, men han optrådte så upartisk som muligt, og hans forholdsregler blev fuldt ud billigede af kronprinsen.