В 1136/1137 году умер Симон I де Бошан, оставившего наследницей дочь, опекуном владений которой стал её двоюродный брат Миль, занявший Бедфордский замок в качестве кастеляна. Но в 1137 году король Стефан выдал замуж наследницу владений Бошанов за Гуго де Бомона, младшего брата Роберта де Бомона, графа Лестера, и Галерана де Бомона, граф де Мёлана, игравшими ведущие роли в управлении Англией при Стефане Блуаском. Позже Гуго получил от короля ещё титул графа Бедфорда. Братья Миль и Пейн были недовольны подобным поворотом, считая, что король лишает их законных владений. «Хроника Стефана» сообщает, что Миль управлял Бедфордским замком с разрешения короля, который приказал ему отремонтировать замок и выполнить долг перед королём. В ответ тот указал, что готов повиноваться королю кроме тех случаев, когда он попытается лишить его владений, принадлежавших ему по праву наследства. Ордерик Виталий также указывает, что братья Бошаны опасались лишиться замка. И когда король попытался передать его под управление Гуго де Бомона, Миль отказался выполнить это распоряжение. В ответ Стефан собрал армию и попытался в рождество 1137 года захватить замок. Штурм оказался неудачным, поскольку замок был хорошо укреплён, поэтому король решил взять противника измором, осадив его. Узнав о вторжении в Северную Англию короля Шотландии Давида I, Стефан выступил с частью армии на север, оставив осаждать Бедфордский замок Гуго. В итоге в феврале 1138 года Миль был вынужден сдать замок. Однако триумф Гуго де Бомона был недолгим: в 1141 году Миль, ставший сторонником императрицы Матильды, оспаривавшей трон у Стефана, ненадолго вновь захватил замок.