Pottinger giftet seg med Susanna Maria Cooke i 1820, og de fikk i 1831 en sønn, Frederick, som skulle bli beryktet for sine sammenstøt med bushrangere som politiinspektør i New South Wales i Australia.