海を隔てていない近隣諸国に対しても「overseas」と言うことはできますか。
はい、できますよ！ここで言う「overseas」も、近隣諸国を含めた他国を指しています。近隣諸国のことを指すのに「overseas」と言うのは厳密には正しくないようですが、たいていの人は「海外」という意味だと理解してくれるでしょう。また、個人的な好みの問題もあるかもしれません。
例: The government is not allowing anyone from overseas to enter the country right now.（政府は今、海外からの入国を許可していません。）
例: I went overseas for my summer vacation.
= I went abroad for my summer vacation.（私は夏休みに海外に行きました。）
例: I've never been to another country on this continent, never mind overseas.（私はこの大陸の他の国に行ったことがないんだ、海外なんて考えられないよ。）