言い出したほうが不利ということはありません。離婚は言われても不利になります。ですが、相手に法定離婚事由がない場合は、離婚できる理由がありませんので、相手から同意してもらえず不利になる可能性はあります。