Polidori var den eldste sønnen til Gaetano Polidori, en eksilitaliener og filolog, og Anna Maria Pierce, en engelsk guvernante. Han hadde tre brødre og fire søstre.