Genom att hacka sig igenom djungeln med machetes ledde de oss till ett läger som övergavs bara två veckor tidigare av Herrens motståndsarmé (LRA), den rebellgrupp som Kony beordrade, som påstår sig strida för att inrätta en regering i Uganda grundad på de bibliska 10 budorden.
En rebell avhoppare ledde Ugandas armé till lägret, som skulle ha inrymt mellan 50-60 soldater, inklusive kvinnor och barn.
Bland barnen fanns en femårig pojke, som sades vara Konys son, och hans mor Doreen Abango. Hon kidnappades av LRA som var 13 år och lyckades fly bara tio dagar tidigare.
"Jag började gå på natten med mitt barn... Jag lämnade inte några spår som kunde användas för att följa mig, eftersom jag visste om jag hittades jag skulle dödas", sade hon.
"Ryssligt barn"
Få i norra Uganda undkom oskadda från Konys krig, däribland hans egen familj.
Hans äldre syster Gabriela Lakot bor fortfarande i Odek i norra Uganda, där Kony föddes.
"Så fort Kony föddes stod han på egna ben", säger hon. "Alla var förvånade och underbara talesätt: 'Detta barn är konstigt.'
"Gud har dragit en förbannelse över denna familj - det var min mors sorg. Kony har ställt till så mycket besvär för oss hittills. Alla hatar oss."
Gabriela klandrar också sin bror för sin sons död.
"Min första födsel sköts av Ugandas armé när han var med Kony. Allt det är hans fel, sa hon.
Konys rebeller har terroriserat Sydsudan, Demokratiska republiken Kongo och Centralafrikanska republiken under årens lopp.
Det uppskattas av Ugandas armé att det bara finns 450 medlemmar av LRA kvar.
Caesar Achellam, en överbefälhavare för LRA, tillfångatogs i maj i år. Han säger att Kony aldrig kommer att ge upp på grund av åtal i Internationella brottmålsdomstolen (ICC).
"Konny är rädd, han är verkligen rädd. Han är rädd för anklagelserna mot honom i Haag", sade han.
Kony är efterlyst av ICC för krigsförbrytelser inklusive våldtäkt, mord på civila och tvångsrekrytering av barn för att tjänstgöra i Herrens motståndsarmé.
"Dö som Hitler"
Konys globala rykte ökade tidigare i år på grund av internetvideon Kony 2012, som har setts tiotals miljoner gånger sedan den postades online av den amerikanska intressegruppen Invisible Children.
Sedan finns i Storbritannien på BBC iPlayer
Ugandas president Yoweri Museveni är tydlig med att det behövs mer utländskt stöd för att ställa Kony inför rätta.
Han sade: " Vi är nu ett internationellt uppdrag. Det är inte ett inhemskt uppdrag och vi kan inte vara ett internationellt uppdrag med inhemska resurser. Det är upp till det internationella samfundet att hjälpa till."
En styrka från Afrikanska unionen med 5 000 soldater från de fyra länder som drabbats hårdast av LRA skulle inleda operationer i mars, men det har ännu inte skett.
Ugandas minister Betty Bigombe är en av många afrikanska ledare som har försökt och misslyckats med att övertala Kony att sluta fred.
Enligt miss Bigombe förutsade Kony själv hur kriget skulle sluta: " Han skulle berätta för mig, jag vet exakt hur jag kommer att dö. Jag kommer att dö som Hitler.
"En dag kommer folk att vakna upp och upptäcka att jag har varit död en tid."
Panorama, Kony: Hunt for the World's most Wanted BBC One, måndag, 20 augusti kl 20:30 BST sedan tillgänglig i Storbritannien på BBC iPlayer.
Djupt inne i Centralafrikanska republikens djungel går omkring 2.000 ugandiska trupper i spetsen för kampanjen för att fånga Joseph Kony.