祠位于西裱褙胡同23号，原在西裱褙胡同中段路北，如今则位于建国门内大街南侧。《帝京景物略》载：“崇文门内东半里，有祠曰忠节，祀少保、兵部尚书于公谦也。公一臂一肩，定正统己巳之变。其被刑西市也，为天顺元年。九年复官，为成化二年。又二十三年，赐谥肃愍，为弘治三年。又一百一年，改谥忠肃，为万历十八年。凡百有三十三年而定论。祠三楹，祀公塑像，岁春秋，遣太常寺官致祭。”《春明梦余录》载：“于少保祠额曰忠节，在崇文门内东裱褙巷，公故赐宅也。”据此，于谦祠实为俗称，该祠正名原为“忠节祠”，始建于明朝成化二年（1466