この頃、敷地はさらに縮小されたと考えられ、『続本朝通鑑』には「初秀吉之館在京極朱雀、神君毀之、而移造二條城」とあり、慶長7年(1602年)に一部が取り壊されて二条城に運ばれたことを伺わせる。