Han var sønn av Steen Brahe til Knudstrup og dennes første kone Birgitte Rosenkrantz, og ble født på Halsted kloster, hvor faren var lensmann. Jørgen ble en tid oppdratt hos en av sine faddere, jomfru Sophie Gyldenstjerne som var abbedisse i Maribo kloster, og siden gikk han på skole i Sorø og Malmø. 14 år gammel ble han sendt utenlands, med historikeren Pontanus som lærer. De besøkte de viktigste steder i Tyskland og Sveits, med lengre opphold ved universitetene i Strassbourg, Basel og Genève for siden å legge kursen om Frankrike, hvor han særlig oppholdt seg i Orleans og Paris.