그가 태어난 지 15개월만에 아버지는 인도차이나 전쟁에서의 후유증인 열병으로 사망하고, 10살이 될 때까지 외가에서 엄격한 외할아버지 샤를 슈바이처(Charles Schweitzer, 1844년~1935년) 슬하에서 소년 시절을 보냈다(샤를 슈바이처는 소르본 대학교의 독문학 교수로서 훗날 의료선교로 노벨 평화상을 받은 알베르트 슈바이처의 백부이다. 그러므로 사르트르의 모친과 알베르트 슈바이처는 사촌, 사르트르와 알베르트 슈바이처는 오촌 관계가 된다). 후일 사르트르는 자서전에서, 선천적 근시와 사시(斜視) 그리고 외가집의 낯설음 등으로 이 시절에 겪은 심리적 부담에 대해 밝히고 있다. 한편 외할아버지의 깊은 교양은 사르트르의 학문적 탐구심을 크게 자극하였다.