Como primer obispo de Rochester, el rey Ethelberto de Kent dio permiso a Justo para que estableciera una iglesia dedicada a San Andrés Apóstol (el mismo santo al que estaba dedicado el convento de Roma desde el que partieron hacia Inglaterra) en el mismo lugar donde se encuentra la catedral actual, que se convirtió en la sede del obispado.