Gavin Rothery satte nästan besökarna före med en kraftfull närstrid som var tum över.
Managerless Harriers kämpade vilt och gick nära när Elton Ngwatalas fina skott träffade posten.
Men från ett sent hörn, Liam Dickinson kopplade med Jake Lawlor huvud och volleyed Guiseley till en seger som lämnade värdarna 14 poäng från säkerhet.
Guiseley skickade nedersta sidan Kidderminster Harriers till sitt sjunde raka nederlag i National League.