La Phillips Academy fue fundada en 1778 durante la revolución americana, como un colegio masculino por Samuel Phillips Jr., miembro de la importante familia revolucionaria Phillips. El sello del colegio, que incluye abejas, un panal, el sol y el lema "Non Sibi", fue diseñado por Paul Revere. George Washington hizo un discurso en el colegio durante el primer año y estaba tan impresionado que recomendó que sus sobrinos estudiaran ahí, lo cual hicieron. Uno de los famosos retratos de Washington está colgado encima del escritorio de la entrada. John Hancock, uno de los firmantes de la Declaración de Independencia de los Estados Unidos, firmó los artículos para entrar en el colegio.