Han var sønn av Thyge Axelsen Brahe til Tostrup, og farbror til astronomen Tycho Brahe. Hans ekteskap med Inger Johansdatter Oxe var barnløst, og Jørgen hadde derfor laget en avtale med sin bror Otte, om at han en dag skulle få oppdra en av Ottes fremtidige sønner. Tycho ble født sammen med en tvillingbror, som var død ved fødslen, og Otte var derfor ikke særlig lysten på å gi fra seg det levende barnet. Jørgen kidnappet derfor den unge Tycho (Tyge) og tok ham med til Tostrup slott, hvor han sørget for guttens oppdragelse. Otte ønsket ganske visst at Tycho skulle ha en militær utdannelse, slik det sømmet seg for adelige, men onkel Jørgen ville det annerledes, og holdt på at boklig lærdom med latin, jus og statskunnskap var den riktige veien for barnet. Alt dette skapte i en periode en viss knute på tråden mellom brødrene.