આવીને વસેલા પંડિતરાજ જગન્નાથને દારાને શીખવવા માટે દિલ્હી દરબારમાં આવવા આમંત્રણ મળ્યું. ત્યાં જગન્નાથને એક મુસ્લિમ સ્ત્રી સાથે પ્રેમ થઈ ગયો, પરણ્યા અને અત્યંત વિરોધી હવામાનમાં પણ અટલ રહ્યા. અંતે જીવનના અંતિમ દિવસોમાં ‘ગંગાલહરી' લખી. કહેવાય છે કે જગન્નાથ અને એમની ‘યવન' પત્ની કાશીમાં ગંગા નદીને કિનારે પગથિયાં પર બેસી ગયાં. કવિરાજ એક એક પદ ગાતા રહ્યા અને ગંગામૈયાનું પાણી એકએક પગથિયું ચડતું ગયું.