22 lutego 1884 roku Piotr Kapnist przeniesiony został do Holandii. Cesarz Aleksander III Romanow mianował go posłem nadzwyczajnym i ministrem pełnomocnym w Hadze. Od listopada 1884 do lutego 1885 brał udział jako przedstawiciel Petersburga w konferencji berlińskiej, dotyczącej spraw afrykańskich. Pierwotnie w konferencji miał wziąć udział wspomniany poseł Orłow, ale z powodu choroby, nie mógł on uczestniczyć w obradach. Współcześni, m.in. Aleksandr Połowcow, Aleksander Abaza i Władimir Lamsdorf, nie oceniali wysoko zdolności dyplomatycznych Piotra Aleksiejewicza i jego brata (również dyplomaty) Dmitrija Aleksiejewicza. Lamsdorf dodatkowo zauważał, że chociaż Kapnist jako dyplomata odznaczył się, to nie przepracowywał się, a najbardziej zainteresowany był pobieraniem pensji. Zupełnie odmiennego zdania był syn Otto von Bismarcka, Herbert, który pełnił funkcje dyplomatyczne przy niemieckim przedstawicielstwie w Hadze. Miał on okazję dobrze poznać Kapnista, był on częstym jego gościem, a panowie wielokrotnie się widywali. Swą wysoką opinię o Kapniście Bismarck potwierdzał w liście do Friedricha von Holsteina. W relacjach z konferencji pozytywnie o Kapniście (a także o jego bracie Dmitriju) wyrażała się prasa lewicowa, m.in. Daniel De Leon.