Han var sønn av Nils Lynge Hansteen (1782–1861) og Petronelle Clementinsdater (1787–1829). Faren var tollinspektør av slekten Hansteen. Av hans søsken ble Agathon Bartholomæus Hansteen (1812–95) sogneprest i Selbu, mens Christopher Hansteen også var dommer i Høyesterett. Selv giftet Philip seg i 1847 med ei Jacoba Krumm (1814–93).