Друри командовал "Neptune" в течение следующих двух лет, пока его не повысили до контр-адмирала в 1804 году. Он покинул корабль 13 мая 1804 года и на следующий день на борт прибыл капитан сэр Томас Уильямс. "Neptune" провел остаток 1804 года вместе с флотом Канала, который блокировал французские атлантические порты. В течение этого времени здоровье капитана Уильямса заметно ухудшилось, и он вернулся в Британию 7 мая 1805 года. Он был заменен капитаном Томасом Фримантлом 8 мая, и был отправлен присоединиться к эскадре Роберта Кальдера, которая блокировала Ферроль после того, как франко-испанский флот прибыл туда после битвы при мысе Финистерре. Кальдер решил, что его восьми кораблей недостаточно, чтобы противостоять флоту Вильнева, если он попытается выйти из гавани и потому двинулся на север, чтобы присоединиться к флоту адмирала Уильяма Корнуоллиса, который блокировал Брест. Вскоре после этого из Вест-Индии вернулся флот Нельсона, в результате чего флот увеличился ещё на 12 кораблей, и Кальдер с эскадрой из 18 кораблей, в которую входил и "Neptune", был отправлен обратно к Ферролю искать флот Вильнева. К этому времени Вильнев отвел свой флот в Кадис и отряду Кальдера было приказано присоединиться к наспех собранному британскому флоту под командованием вице-адмирала Катберта Коллингвуда, который блокировал франко-испанский флот в Кадисе.