Về hưu 
Vào năm 1890, tướng Gélieu xin xuất ngũ. Lời thỉnh cầu của ông được chấp thuận vào ngày 14 tháng 5 năm 1890, khi ông đồng thời được phong cấp bậc Danh dự (Charakter) Thượng tướng Bộ binh. Ngoài ra, Gélieu cũng được phong danh hiệu à la suite của Tiểu đoàn Súng trường Cận vệ và được phép vận quân phục của tiểu đoàn này.