I midten av sekstiårene trakk en mislykket Lu Yuo seg tilbake til hjemstedet, skuffet over statens politikk overfor inntrengerene i nord og manglende fremgang i embetskarrieren. Resten av livet levde han i fattigdom, og til tider hadde han det så smått at det bare var noen boller med ris han fikk fra en gavmild prest i grannelaget som holdt liv i ham. Samtidig skulle disse armodsår i alderdommen bli de mest produktive Lu Yuo hadde som dikter. Det rolige livet gav ham mulighet til å observere scener fra dagliglivet og feste disse i dikts form. Ifølge Arne Dørumsgaard pleide han å rusle omkring i distriktet mens han deklamerte dikt, plukket blomster i veikanten og besøkte en lokal kro. Hans sterke patriotisme bleknet aldri, og da han var 81 år gammel prøvde han enden til å verve seg som soldat i krigen mot Jin-dynastiet som var i gang på den tid.