I sine seinere år fikk Naigeon store helseproblemer og sleit med depresjoner. Finansielle vansker gjorde at han så han seg nødt til å selge sin berømte og møysommelig oppbygde boksamling til langt under den egentlige verdien.