このため勝茂との間に対立が生じ、寛永17年(1640年)に直朝が勝茂の後ろ盾によって従五位下に叙任すると、正茂に対して隠居を求めてくる。