Phipps antas å være født i 1788 i Berkeley sogn i Gloucestershire i England. Faren var en eiendomsløs dagarbeider som trolig arbeidde for Jenner fra tid til annen.