元和8年(1622年)最上氏が改易になると、白岩には旗本・酒井忠重(庄内藩主・酒井忠勝の弟)が入った。