Den 1. juli 2001 gikk Giovanni Gaspari inn i Den hellige stols diplomatiske tjeneste. Etter opplæring ved Det pavelige diplomatakademi virket han ved nuntiaturene i Iran (2001-2003), Albania (2003-2008) og Mexico (2008-2012) samt til Estland, Latvia og Litauen (2012-2015). Senest var Gaspari tilknyttet seksjonen for relasjonen til statene i Statssekretariatet, hvor han var ansvarlig for de baltiske statene.