Pocházel z rodiny s tradiční službou v námořnictvu, byl vnukem námořního vojevůdce napoleonských válek admirála Sira Davida Milne (1763–1845). Narodil se v Londýně jako jediný syn velkoadmirála Sira Alexandra Milne (1806–1896). Do královského námořnictva vstoupil v roce 1869 jako kadet námořní akademie, poté sloužil v různých destinacích a v roce 1891 dosáhl hodnosti kapitána, po otci v roce 1896 zdědil titul baroneta. Patřil k přátelům královské rodiny a od roku 1902 byl námořním pobočníkem Eduarda VII., v roce 1904 byl povýšen na kontradmirála, mezitím také obdržel Viktoriin řád. V letech 1905–1906 byl zástupcem vrchního velitele v Atlantiku a v letech 1906–1908 zástupcem vrchního velitele v Lamanšském průlivu. V roce 1908 dosáhl hodnosti viceadmirála a poté velel flotile u anglických břehů ("Home Fleet", 1909–1912). V roce 1909 obdržel Řád lázně a v roce 1911 hodnost admirála. V letech 1912–1914 byl vrchním velitelem ve Středomoří. V této funkci nesl hned v začátku první světové války zodpovědnost za neúspěšnou operaci pronásledování německých lodí Goeben a Breslau, hlavní vinu však nesl admirál Ernest Troubridge. Spolu s Troubridgem byl na podzim 1914 povolán před válečný soud, který jej sice zprostil viny, ale byl postaven mimo aktivní službu. Během první světové války mu později bylo nabídnuto několik méně významných postů ve velení námořnictva, které však odmítl. Na svou obhajobu napsal v roce 1921 knihu "The Flight of the Goeben and the Breslau". Zemřel bez potomstva a jeho úmrtím zanikl titul baroneta.