In de Tweede Engels-Nederlandse Oorlog volgde op 22 oktober 1665 de benoeming tot schout-bij-nacht; als zodanig vocht hij op de "Gouda" in de Vierdaagse Zeeslag en maakte het familiezilver van admiraal George Ayscue op de "Royal Prince" buit tot grote woede van Cornelis Tromp die er zelf op aasde. Sweers vocht in het eskader van Tromp, die hij goed kende van de expedities onder Van Galen, in de Tweedaagse Zeeslag (op de Noordzee) en werd samen met Tromp op 6 augustus in de haven van Vlissingen door De Ruyter openlijk van nalatigheid beschuldigd; op 24 augustus 1666 werd hij desalniettemin benoemd tot viceadmiraal van Holland en West-Friesland, een functie die hij al waarnemend bekleedde sinds de Vierdaagse Zeeslag. In september kreeg hij een conflict met Cornelis Evertsen de Jonge over het prijsgeld van de "Royal Charles", een schip dat Evertsen en Sweers samen geënterd hadden. Evertsen kreeg uiteindelijk de 5000 guldens. Sweers had een wat intellectuelere achtergrond dan de meeste zeelui en zijn reputatie een uitstekend navigator te zijn leverde hem in 1667 de gloednieuwe "Witte Olifant" van 82 kanonnen als vlaggenschip op. Na de oorlog deed hij in 1669 en 1670 mee aan expedities tegen de kapers van Algiers en veroorzaakte weer een vlagincident toen hij de vlag niet wenste te strijken voor viceadmiraal Thomas Allin.