Dennes sønnesønn igjen Axel Pedersen Brahe vet man dog at har vært eier av Tosterup. Hans sønnesønn Jørgen Thygesen Brahe (død 1565) oppførte slottets høye tårn. Det var hos ham, onkel Jørgen, at den senere berømte astronomen Tycho Brahe, vokste opp, og det kan spekuleres i om ikke det var her i tårnet han begynte å tenke over stjernene, når han ellers hadde fri fra latinskolen i Ystad. Faren Otte ønsket at gutten skulle ha en militær utdannelse, som skikk og bruk var for hans stand. Men onkel Jørgen holdt på, at latin og den boklige veien med jus og statskunnskap var den riktige veien for Tyge.