しかし、慶長20年(1615年)の大坂の陣で豊臣家が滅びると状況が一変、家康によって方広寺の鎮守とするために豊国神社の破却を命じられる。