まったくおかしくありません。たとえば、ダイビング用の腕時計であるダイブコンピューターなどは、そもそもメンズやレディースといった分類がありません。ただし、高機能なモデルほどサイズが大きくなる傾向がありますので、見た目の「ごっつさ」を気にしないのであれば、積極的にメンズ腕時計をファッションの一部に取り入れてみてください。