Im Zweiten Englisch-Niederländischen Krieg wurde er Konteradmiral "(Schout-bij-nacht)". In der Viertageschlacht gelang die Eroberung der auf eine Sandbank gelaufenen Royal Prince, auf der Sweers zum Ärger von Tromp das auch von diesem begehrte Tafelsilber des englischen Admirals George Ayscue für sich in Besitz nahm. Anschließend war er unter dem Kommando von Tromp am St. James’s Day Fight beteiligt. Bei der Rückkehr wurde er wie Tromp öffentlich von de Ruyter in Vlissingen getadelt. Im August 1666 wurde er offiziell Vizeadmiral von Holland und Westfriesland, hatte die Position inoffiziell allerdings schon seit der Viertageschlacht. Bei Calais eroberte er 1666 mit Cornelis Evertsen dem Jüngeren die "Royal Charles" (nicht identisch mit dem Flaggschiff von Karl II., das beim Überfall im Medway verschleppt wurde). Später stritten sich beide über das Prisengeld von 5000 Gulden, das dann Evertsen bekam. Er nahm am Überfall im Medway teil. 1667 bekam er das neue 82 Kanonen Schiff "De Witte Oliphant" (Weißer Elefant) als Flaggschiff. Nach dem Krieg nahm er mit den Engländern an einer Expedition gegen die Barbaresken teil (wobei es zu einem Zwischenfall kam da er nicht wie verlangt vor dem englischen Vizeadmiral Thomas Allin die Flagge zur Begrüßung streichen wollte).