この「man」は感嘆詞で、実際に男性や人を指しているわけではありません。驚きや賞賛、衝撃や失望などを表す表現です！
例: Aw, man. I wanted to go on the field trip too.（あーあ。私も遠足に行きたかったな。）=> 悲しみや失望
例: Man! That was an amazing concert.（ああ！すごくいいコンサートだったよ！）