I 1617 fikk han stillingen som slottskapellan hos Filip III av Spania, men ansettelsen ble kortvarig, og de siste årene i Madrid skal han ha levd en nokså karrig tilværelse, før han ble syk og flyttet tilbake til Córdoba. Det er noe uklart om avgangen fra slottskapellanstillingen hadde sammenheng med Quevedos anklage mot Gongora for sodomi, noe som var belagt med dødsstraff. På bakgrunn av denne anklagen har det vært antatt at Gongora var homoseksuell.