I 1787 konverterte Gordon til jødedommen i Birmingham. Han tok navnet Yisrael bar Avraham Gordon og ble omskåret. Lite er kjent om hans liv som jøde i Birmingham, men en reportasje i den 15. desember 1787 omtaler ham som en mann med «skjegg av ekstraordinær lengde, og jødens vanlige kledsel» og forteller videre at han var svært streng med å overholde matlovene. Ifølge reportasjen hadde han en ledende rolle i det jødiske samfunnet i byen.