一般的には早いタイミングで借り換えしたほうが、メリット額が大きくなりやすいです。
ローン残高が高い・残りの返済期間が長いほど、借り換えで金利を下げた効果を高めやすいのです。
ただし、借り換えには手数料もかかるため、しっかりとシミュレーションしたうえで検討するようにしましょう。