駅舎は辰野金吾と葛西萬司が設計し、埼玉県深谷市から鉄道輸送されたレンガ と鉄筋造り、3階建て総建坪9,545m2・長さ330mの豪壮華麗な洋式建築である。南北にそれぞれドーム状の屋根があり、当時は丸の内南口が乗車口、丸の内北口が降車口と分けて使用されていた。中央の玄関は皇室専用とされ、規模は小さいものの、細かい装飾が各所に施されていた。中央玄関と東西の一般出入り口との間に、各1つ別の出入り口があるが、これは荷物の搬入搬出口として設けられた。開業年の1914年は第一次世界大戦の開戦の年でもあり、青島の戦いを指揮した陸軍司令官神尾光臣中将が凱旋し、皇居に参内するイベントに合わせて開業式を行った。