Pocházel ze Skotska, byl synem Davida Milne, obchodníka v Edinburghu. Do námořnictva vstoupil v roce 1779, původně sloužil v Karibiku (1779–1783), kde se zúčastnil války proti USA, pod velením admirála Howe bojoval na Gibraltaru. Poté přešel k obchodnímu loďstvu a v letech 1783–1793 působil v Indii ve službách Východoindické společnosti. Za válek s revoluční Francií vstoupil znovu do služeb královského námořnictva a operoval v Karibiku. V roce 1795 dosáhl hodnosti kapitána a v roce 1796 byl krátce guvernérem dobyté nizozemské kolonie v Guyaně. Během napoleonských válek bojoval v Mexickém zálivu, sloužil též v Lamanšském průlivu, v letech 1811–1815 velel v severní Americe. V roce 1814 byl povýšen na kontradmirála a v roce 1816 se s Edwardem Pellewem zúčastnil tažení proti pirátům v Alžírsku. Za to byl povýšen do šlechtického stavu jako rytíř Řádu lázně, obdržel poděkování parlamentu a získal čestné občanství v Londýně. V letech 1816–1819 byl vrchním velitelem v Halifaxu v Kanadě, mezitím získal také několik zahraničních vyznamenání. V roce 1820 byl krátce poslancem Dolní sněmovny a v roce 1825 dosáhl hodnosti viceadmirála. Nakonec byl povýšen na admirála (1841) a v letech 1842–1845 byl velitelem v Plymouthu, od roku 1840 byl také rytířem velkokříže Řádu lázně. Zemřel na lodi cestou z Plymouthu do Skotska.