Johan Gyllenborg entstammte dem schwedischen Adelsgeschlecht Gyllenborg und war ein Sohn des schwedischen Grafen Jakob Gyllenborg sowie ein Bruder von Olof und Carl Gyllenborg. Er studierte an der Universität Uppsala und war 1700, wie früher sein Bruder, deren "Rector illustris". 1701 trat er aber in die Armee ein und begann seine Karriere als Kornett im Dragonerregiment der ehemaligen Provinz Uppland unter dem Befehl des Generals Adam Ludwig Lewenhaupt, dem er als Adjutant im Sieg bei Gemauerthof (1705) und der Niederlage bei Lesnaja (1708) beigegeben war. Bei der noch schwereren Niederlage bei Poltawa (1709) entkam er zwar der russischen Gefangenschaft, musste sich aber dann später doch am Dnjepr ergeben. Er wurde mit seinen Kameraden zunächst nach Moskau geführt, musste dort mit ihnen beim Triumphzug des Zaren Peter dem Großen als Dekoration dienen und wurde dann nach Simbirsk und von dort nach Solikamsk in Sibirien geschickt.