性之间也存在大脑结构差异，这是生物学和性取向的广泛研究的一部分。研究还发现，男性向和女性向的跨性别女性的大脑功能和反应都像顺性别女性一样，与顺性别男性不同，或者介于两者之间。同样的，像Rametti这样的研究发现，无论性取向如何，跨性别男性都有类似男性的白质形态（甚至在使用激素之前）。关于遗传因素，Hare的一项研究报告说，跨性别女性的雄激素受体基因比顺性别男性长，这种结合睾酮的效果较差，可能会阻止大脑完全男性化（产前雄激素的暴露和敏感性或缺乏，是一种经常被引用来解释观察到的脑结构差异的理论）。Bent