直江兼続
米沢に移ってからは、直江兼続などと共に城下町の整備や町割りなどを行い、能元の知行高は4330石となった。慶長7年（1602年）、直江兼続の主催によって大国実頼、岩井信能、春日元忠、前田利益などと共に亀岡文殊堂で歌会を行われ、その時の和歌や漢詩が「直江兼続等詩歌百首帖」として奉納されている。また、慶長17年（1612年）、直江兼続、水原親憲、岩井信能、山岸尚家、平林正恒と共に十七箇条の家中法度を制定する。