Những năm cuối đời 
Trong những năm cuối đời của ông, Gélieu thoạt đầu sinh sống tại quận Tiergarten ở Berlin và sau đó ông chuyển đến Potsdam. Trong khoảng thời gian này, ông cũng bắt liên lạc với các thành viên gia đình mình tại Pháp, đồng thời khôi phục mối quan hệ của mình với quê nhà Neuchâtel. Một bức chân dung sơn dầu của Gélieu hiện vẫn được trưng bày tại phòng sĩ quan ở lâu đài Colombier ở Neuchâtel. Vào ngày 20 tháng 4 năm 1907, ông từ trần sau một cơn đột quỵ tại Potsdam và được chôn cất ở Nghĩa trang Mới (Neuen Friedhof) của thành phố này.