Phillip rejoignit la Royal Navy à quinze ans et participa au début de la guerre de Sept Ans en Méditerranée lors de la bataille de Minorque en 1756. En 1762, il fut promu lieutenant, mais fut placé en demi-solde lorsque la guerre de Sept Ans prit fin en 1763. Au cours de cette période, il se maria et se lança dans l'élevage à Lyndhurst, dans le Hampshire.