Pottinger ble medlem av Det kongelige råd i 1844 og ble guvernør i Kappkolonien i 1847 og også i Madras samme år. Han ble forfremmet til generalløytnant i 1851.