Jake Lawlor ledde hemmasidan i främre efter 13 minuter, men ur den blå Torquay vände matchen på sitt huvud på under två minuter.
Först gick Sean McGinty i Luke Youngs hörn, och sekunder senare trängde Jamie Reid en boll igenom för Ruairi Keating att plantera hem.
Båda sidor missade ytterligare chanser att lägga till poäng, innan Guiseley iscensatte sent drama.
Kevan Hurst slog med fyra minuter kvar innan en frenetisk målmunsröra ledde till Guiseleys vinnare, med identiteten på målgöraren oklart.
Matchrapport från Pressföreningen.
Guiseley förvandlade nära förestående nederlag till seger mot Torquay vid Nethermoor Park med två sena mål.