פיליפ נולד בעיר גראניט סיטי שבאילינוי, והוביל בשנת 1940 את קבוצת הכדורסל של "תיכון גראניט סיטי" לאליפות התיכונים של אילינוי. בשנת 1941 החל ללמוד באוניברסיטת אילינוי, ושיחק בקבוצתה במשך 3 שנים עד שגויס לחיל הנחתים האמריקאי. במהלך מלחמת העולם השנייה השתתף כלוטננט ראשון בקרב איוו ג'ימה, ובתום המלחמה חזר לאוניברסיטת אילינוי כדי להשלים את שנת הלימודים האחרונה.