価値観は人それぞれですから、食事に行っただけでも許せない方もいます。しかし、一般的には二人だけで食事に行っても浮気とは見なされません。