しかしながら、永禄6年10月(1563年11月)に島根半島に位置する補給要衝・白鹿城を毛利軍によって奪われると(白鹿城の戦い)、続いて永禄8年(1565年)初頭には西伯耆一円を毛利軍によって支配され、尼子氏の居城・月山富田城は完全に孤立する。