French and Indian War
스카일러가 7살 때 아버지가 죽었다. 올버니의 공립학교를 졸업한 스카일러는 뉴로셸에 있던 밴 코틀랜드의 집에서 가정교사에게 배웠다. 스카일러는 프렌치 인디언 전쟁 중인 1755년에 영국군에 참가하여 중대를 이끌고 사촌 부지사 제임스 디랜시 의해 대위로 승진했다. 이후 보급 장교가 되었고, 물자의 조달 및 기기류를 조립하는 업무를 맡았다.