Окончив школу, начал сначала учёбу в Сеульском национальном университете, но позже оставил его и окончил в 1949 году Корейскую Военную академию (8-й выпуск). Во время Корейской войны был произведен в подполковники. В сентябре 1960 года Ким Джон Пхиль был в составе группы из 12 подполковников (10 из них — члены «восьмого выпуска») и 4 полковников, которая ворвалась в здание Генерального Штаба и потребовала смены большинства членов военной верхушки, за что был арестован и уволен из армии, но вскоре был восстановлен и получил звание полковника.