Selv med Griffenfelds vanskjebne i 1676 friskt i minne, virker det ikke som Luxdorph tok lærdom; kongen uttalte selv at Luxdorph var blitt for dristig, og i 1690 ble han fjernet fra sine embeder og forvist til sine gods. Den direkte foranledningen var at Luxdorph i saken om Thomas Kingos salmebok gav sin venn biskopen et større privilegium enn det han hadde dekning for. Takket være Gyldenløve fikk Luxdorph snart tillatelse til å gjøre personlig avbikt overfor kongen, men først i 1691 ble han tatt helt og fullt til nåde igjen. Han ble da utnevnt til utsending til Stockholm, noe som riktignok var en svært kostbar affære for ham. I 1695 fikk han . Etter sju år ved det svenske hoffet, følte Luxdorph seg så svak at han søkte avskjed, men døde i et podagraanfall før han rakk å forlate Stockholm.