Pamphili tilhørte greveslekten av Melfi og slekten Doria-Pamphilj, hvorfra det utgikk en rekke kardinaler. Han var bror til kardinal Antonio Maria Doria Pamphilj (kreert 1785) og onkel til Giorgio Doria Pamphilj Landi (kreert 1816).