Ab dem 9. August 1804 befehligte er die Silberflotte, die von Montevideo aus nach Spanien segelte. In der Seeschlacht vom 5. Oktober 1804 wurde sein Geschwader von einem britischen Geschwader überwältigt und der Schatz – für welchen er verantwortlich war – konfisziert.