Первые упоминания о храме Иоанна Богослова под Вязом содержатся в Никоновской летописи и связаны с пожаром 1493 года. Однако других сведений о первой деревянной церкви не сохранилось. Вероятно, её появление было связано с фортификационным острожком, поставленным за пределами посада для защиты подступов к городу с восточной стороны. Она вошла в состав Москвы только в первой половине XVI века при строительстве восточной части Китайгородской стены, в дальнейшем неоднократно горела и перестраивалась. В Смутное время храм был разграблен польскими интервентами, и уже задолго после окончания войны церковь перестроили в камне. В книге «Исторические известия о всех церквях столичного города Москвы» указано, что новое здание возвели в 1626-м и обе церкви долгое время находились рядом. Но большинство историков датирует реконструкцию 1658 годом.