Оливер Кромвел је умро 1658. и Џејмсов брат Чарлс II је рестаурисан као енглески краљ. Иако је Џејмс био претпостављани наследник мала је била вероватноћа да ће наследити круну, јер је Чарлс II био још довољно млад да има сопственог наследника. Џејмс је командовао морнарицом за време Другог (1665—1667) и Трећег англо-холандског рата (1672—1674). Енглези су 1664. заузели Нову Низоземску и територију су преименовали Њујорк у његову част, јер је био војвода од Јорка. Форт Орање, око 240 km узводно уз реку Хадсон, преименован је у Олбани. Џејмс је заповедао и Краљевском афричком компанијом, која је учествовала у трговини робљем.