Polidori nació en Londres en 1795, hijo de Gaetano Polidori, un emigrante político italiano, y Anna Maria Pierce, institutriz inglesa.