W 1660 r. Karol II odzyskał tron Anglii. 25 maja Jakub towarzyszył mu podczas wjazdu do Londynu. W 1660 r. otrzymał tytuł księcia Albany oraz urzędy Lorda Wielkiego Admirała i lorda strażnika Pięciu Portów. Jako że Karol II nie miał dzieci, Jakub był uznawany za następcę tronu. Jako Lord Wielki Admirał dowodził Royal Navy podczas II (1665-1667) i III wojny angielsko-holenderskiej (1672-1674). Kiedy w 1664 r. zdobyto holenderską kolonię w Ameryce Północnej, jej główne miasto, Nowy Amsterdam, przemianowano na cześć Jakuba na Nowy Jork. Położony 150 mil dalej nad rzeką Hudson Fort Orange został przemianowany na Albany. Jakub był również Przewodniczącym Królewskiej Kompanii Afrykańskiej, pośredniczącej w handlu niewolnikami. Od 1664 r. był również członkiem Towarzystwa Królewskiego.