Филип Скайлер родился в городе Олбани, в семье и , и принадлежал к третьему поколению голландской по происхождению семьи Скайлеров. Филип обучался в средней школе в Олбани, а когда его отец умер в 1741 года, его стали обучать частные учителя фамилии Ван Кортланд в Нью-Рошелле. Он с детства свободно владел голландским и английским языками, а с 1748 года начал изучать французский язык и математику. В годы жизни в Нью-Рошелле он принимал участие в торговых экспедициях к ирокезам и изучил Могаукский язык. Когда началась война с французами и индейцами, Скайлер присоединился к британской армии (1755), для которой набрал роту, а вице-губернатор Нью-Йорка, присвоил ему звание капитана. В 1756 году он отправился в форт Осуиго, где некоторое время исполнял обязанности квартирмейстера, пока форт не был . Скайлер так же принимал участие в сражении на озере Джордж, сражении при Карильоне и .