Может быть и холодно, и нормально. Мы год назад были в феврале, с погодой повезло - днем было под 30 градусов, вода тоже вполне комфортной температуры была. Вечером только кофты надевали. Все лучше, чем в нашей мерзлоте). Но зимой нужно внимательно выбирать отель, лучше всего  смотреть безветренные бухты Шарм эль Шейха.