Han ble født på Knudstrup (Knutstorp) slott utenfor Landscrone i det danske Skåne. Han vokste opp hos sin onkel Jørgen Brahe. Familien ønsket at han skulle bli opplært i jus og sendte ham på forskjellige læreanstalter fra han var tolv år gammel. Men selv ble han meget interessert i astronomi. Han viste også interesse for astrologi og alkymi.