Han stammet fra en gammel adelsslekt i Pommern. Hans far var general (tysk: General der Infanterie) Otto von Pirch (1733–1813), generalinspektør i Pommern og guvernør i Kolberg, hans mor var Charlotte Friederike von Winckelmann (1740–1781). Hans bror var Otto von Pirch (1765–1824), generalløytnant i den prøyssiske hæren.