853年时被美国海军准将马修·佩里（Matthew C. Perry）所率领的四艘军舰轻易突破而在浦贺（位于神奈川县横须贺市）登陆，打破日本长年来的锁国政策，也就是着名的「黑船来航」事件。因为此事件的发生，激发了幕府方面的危机意识，因此特别委託了伊豆国田方郡韮山（今静冈县伊豆之国市韮山町）代官江川英龙（江川太郎左卫门），于同年起在东京湾内开始修筑砲台。江川当时投入了约75万两的金额，利用伊豆等地运来的石头，与将品川凿挖拆崩后所获得的土砂，陆续完成多座以方形或五角形石墙围绕住的西式砲台，称为「台场」。其中