Джозеф Лео Манкевич родился 11 февраля 1909 года в Уилкс-Барре, Пенсильвания в еврейской семье, иммигрировавшей в своё время из Германии. Его отец, Фрэнк Манкевич, был учителем, а мать — портнихой. Джозеф был третьим ребёнком в семье после сестры Эрны и брата Хермана, который впоследствии стал известным сценаристом, завоевавшим, в частности, «Оскар» как соавтор сценария фильма «Гражданин Кейн» (1941). Когда Джозефу было 4 года, семья переехала в Нью-Йорк, где его отец преподавал немецкий и французский языки в средней школе, а позднее — в Городском колледже Нью-Йорка.