Er blieb mit der Flotte zunächst untätig im Hafen von Port Arthur liegen, wo die Schiffe während der Belagerung von Port Arthur von den schweren Belagerungsgeschützen der Japaner bedroht wurden. Sein zögerliches Verhalten brachte ihm in der Folge starke Kritik ein. Auf telegrafische Anordnung von Zar Nikolaus II. musste Withöft am 10. August 1904 einen Ausbruchsversuch unternehmen. Etwa 40 Seemeilen vor Port Arthur traf er auf die Flotte des japanischen Admirals Togo. In der darauffolgenden Seeschlacht im Gelben Meer wurde Withöft durch eine detonierende Granate an Bord seines Flaggschiffs "Zessarewitsch" getötet.