Phillips nació con el nombre de Lou Diamond Upchurch, en la Estación Naval de la Bahía Subic, localizada en las Filipinas, siendo hijo de Lucita y Gerald Upchurch, un oficial naval.