Его сменил в качестве главнокомандующего адмирал Мариот Арбютнот, в то время как Кольер находился в море. Кольер был отозван в Великобританию. Ушел домой на "HMS Daphne", и прибыл в Портсмут 29 ноября 1779 года. В начале 1780 года принял командование 74-пушечным HMS "Canada". Получил приказ действовать в Английском канале, и 12 апреля 1781 года принял участие в снятии осады с Гибралтара с флотом вице-адмирала Джорджа Дарби. Возвращаясь в Англию, наткнулся на, и после короткого боя взял 40-пушечный испанский фрегат "Santa Leocadia". По возвращении подал в отставку, из-за некоего несогласия с правительством, или Первым лордом Адмиралтейства Сэндвичем.