Pollard pensjonerte seg fra det militære liv, den 20. januar 1963 og viet i stedet sin tid til hagearbeid og kvegdrift på en liten gård som han kalte «Aroona» som ligger i Wesburn i Victoria, og deretter bodde han på en eiendom på Wyrallah i New South Wales, som han kalte «Duntroon». I juli 1965 ble han utnevnt til æresoberst av Royal Australian Regiment og flere ganger besøkte han australske tropper som befant seg i Vietnam på grunn av Vietnamkrigen.