Già negli anni della sua infanzia, caratterizzata da una salute fragile, iniziò a dedicarsi alla raccolta dei francobolli, anche come distrazione dai gravi eventi (le sconfitte degli austriaci contro Vittorio Emanuele II e Napoleone III a Magenta e Solferino) che influenzarono molto la sua crescita. A un giornalista che nel 1900 gli chiese della sua passione, Filippo rispose di aver iniziato la collezione di francobolli a dieci anni, quando trascorse un periodo in Germania, raccogliendo la serie di Hannover, con la testa del Re.