귀족 가문이었던 오트클로크 가의 아들이었던 필리프는 1924년 프랑스의 사관학교인 생시르 사관학교를 졸업했다. 루르 점령 및 모로코에서의 복무를 마친 뒤 르클레르는 생시르에서 사관으로 일했다. 제2차 세계 대전 당시 필리프 르클레르는 프랑스 공방전에서 싸웠다. 르클레르는 프랑스 정부의 정전협정을 무시하고 영국으로 가서 샤를 드 골 장군 휘하에서 자유 프랑스에서 싸운 첫 장군들 중 한 명이었다. 필리프 르클레르는 자신의 이름이 공개되었을 때 아내와 아이가 위험에 처하지 않게 하기 위해 가명을 썼다. 르클레르는 프랑스령 적도아프리카로 파견되었고 자유 프랑스군을 모아 프랑스 정부를 지지하던 가봉군과 가봉 전투에서 맞서 싸웠다. 차드에서 르클레르는 이탈리아령 리비아를 기습하는 작전을 지휘했다. 쿠프라 전투 이후 르클레르는 자신의 군사들에게 "쿠프라의 맹세"로 알려진 복종을 맹세하게 했다.