特別刺激のあるお湯でなければ問題ないと思いますが、温泉は一般的に熱めにしていることが多いので気をつけてください。また、赤ちゃんの入浴が可能かどうか、事前に入浴施設にお問い合わせいただいた方がよいでしょう。
また、お湯に長く浸かっていい気持ちと感じるのは大人の発想ですので、長湯は避けたほうがよいでしょう。普段の入浴のように皮膚の清潔を第一に考え、手早く入浴するということでお願いします。