John Philip war der Sohn eines schottischen Lehrers. Nach einer Ausbildung zum Tuchhändler arbeitete er als Buchhalter in Dundee und besuchte dann das Wesleyan Theological College in Hoxton. 1804 wurde er zum Pfarrer einer Kongregationalistengemeinde in Aberdeen berufen. 1822 wurde er als Direktor der LMS zusammen mit seinem schottischen Kollegen John Campbell auf eine Missionsstation nach Südafrika entsandt. Als Superintendent sollte er dort die Arbeit der LMS neu organisieren und überwachen. Dort engagierte sich Philip für die landlosen Arbeiter, die "Khoi", die den weißen Farmern und Händlern als billige Arbeitskräfte dienten. Nach der Abschaffung der Sklaverei im britischen Empire startete er in Südafrika eine Kampagne „für gleiche Bürgerrechte für alle Untertanen Seiner Majestät“, um die minimalen Bürgerrechte für die freigelassenen Sklaven weiter zu verbessern. Philip engagierte sich für die Erhaltung der an die Kapkolonie angrenzenden Kleinstaaten der "Xhosa", "Griqua" und "Sotho" und deren indigener Interessen. Philip zog sich den Hass vieler Landsleute zu, als er vor einem parlamentarischen Komitee in London sowohl die britischen Behörden als auch die weißen Siedler für einen Grenzkrieg verantwortlich machte. Philips Leben war geprägt von der Überzeugung, dass das Evangelium Menschen und Gesellschaften verändern sollte. Nach seinem Tod im Jahr 1851 wurde er auf einem Friedhof in einem Township beigesetzt. Philip gilt als Gründervater des Liberalismus in Südafrika.