近女色，热衷于修炼“天狗之术”，会做出把政务委任给家臣，突然前往各地旅行的怪事。政元的奇行导致幕政混乱，最后不得不由将军足利义澄出面下达归京令，政元才回到领地。细川家内的实际政务由一群称做“内众”的重臣负责，文龟元年，政元制定了内众合议及统合的规章。文龟二年（1502年），政元正式确定养子细川澄之爲继承人。翌年五月，又迎细川赞州家的六郎爲养子，是为细川澄元。政元废嫡导致家中支持澄之与澄元的势力的对立日益尖锐。永正元年（1504年）九月，内众、摄津守护代药师寺元一谋反，政元将其镇压。永正三年（1506