斯波兼頼との争いで父・大江元政を失った時茂は、南北朝の争乱に備えて寒河江荘を子や兄弟に分割して城や楯を築かせ、白岩の地には嫡男・溝延茂信の子・政広を配した。