堡城南北长约五百米，东西长有1000米左右，城墙高6、7米左右。堡墙现存的只有南墙和西墙。原为土筑砖包，现城砖已无，只剩土墙。在明朝，榆林堡、土木堡和鸡鸣堡是京北三大堡。1449年，明英宗亲征蒙古瓦剌部，被瓦剌军队围困于土木堡，兵败被俘，史称土木堡之变。1457年，英宗夺门之变复辟以后，在堡内修建了显忠祠，以祭祀、褒扬土木堡之变中牺牲的二、三十员明朝将领。