Nach dem Uganda-Tansania-Krieg, der 1979 zum Sturz des Amin-Regimes führte, floh Astles nach Kenia, wurde aber nach Uganda zurückgebracht und als Verbrecher vor Gericht gestellt. Er wurde wegen des Vorwurfs der Verbindung zu Amins Sicherheitsapparat ins Gefängnis gesteckt und die Anklage reichte von Mord und Korruption bis zum Diebstahl. Obwohl er freigesprochen wurde, blieb er sechseinhalb Jahre im Luzira-Gefängnis und kehrte nach seiner Entlassung 1985 nach Großbritannien zurück.