はい、この「brunch」は一種のメタファーです。彼がここで言っているのは、「brunch」という概念が存在する理由がわからないように、人々のことも理解できないということです。ご存知のように、「brunch」とは朝食と昼食の間の食事を意味するので、なぜ朝食ではないのか、なぜ昼食ではないのかと彼は疑問に思っているのでしょう。彼は「brunch」と同様に人々のことを理解できないので、友達を作るのは難しいと感じているわけですね。
例: Let's meet for brunch tomorrow.（明日のブランチで会いましょう。）
例: It's too late for breakfast, let's just do brunch.（朝食には遅すぎるから、ブランチにしよう。）