「pleasure」とだけ答えてもいいのでしょうか。失礼にはなりませんか。
少しカジュアルな表現ではありますが、「it's a pleasure」に対して「pleasure」と言っても失礼ではありません。どちらも挨拶の返事として使うことができます。
例：
A: Pleasure to meet you! （お会いできて光栄です！）
B: Pleasure. （こちらこそ。）
例：
A: It's a pleasure to meet you! （お会いできて嬉しいです！）
B: The pleasure is mine. （こちらこそ光栄です。）