翰一世与皇帝阿卡狄奥斯的妻子、皇后阿丽亚·尤多希亚（Aelia Eudoxia）发生冲突，因而在404年6月20日被流放，因此而起的连串暴乱使第一教堂毁于一旦，关于第一所教堂的一切在当今已彻底消失。
第二代建筑物（5世纪）.狄奥多西二世下令兴建第二代教堂，于415年10月10日落成，这个木制屋顶的教堂是由建筑师鲁弗留斯所建。532年1月，尼卡暴动引起的一场大火将第二代圣索菲亚大教堂烧成渣滓。第二代教堂的数块大理石残骸倖存至今，这些石块上的浮雕展示了十二羔羊、十二使徒等图像。这些