Ранняя история замка тесно связана с родом Бошанов из Бедфорда, которые претендовали на должность наследственного кастеляна замка. Первым кастеляном стал Гуго де Бошан (умер около 1114/1118), который получил эту должность вместе с должностью шерифа и поместьями в Бедфордшире, составившие феодальную баронию Бедфорд, благодаря браку с Матильдой, дочерью и наследницей Ральфа де Тельебуа, кастеляна Бедфордского замка и шерифа Бедфордшира. Кастеляном был и его сын, Симон I де Бошан (умер 1136/1137). Он умер в начале правления Стефана Блуаского, оставив только дочь, которую король выдал в 1137 году замуж за Гуго де Бомонаа, младшего брата Роберта де Бомона, графа Лестера, и Галерана де Бомона, граф де Мёлана, игравшими ведущие роли в управлении Англией при Стефане Блуаском. Позже Гуго получил от короля ещё титул графа Бедфорда. Этот брак вызвал недовольство племянников Симона, Миля и Пейна де Бошанов, посчитавших, что король лишает их законных владений. Миль, который был кастеляном с согласия короля, отказался передать замок Гуго, но после осады королевской армии в феврале 1138 года был вынужден его покинуть. После этого братья перешли на сторону императрицы Матильды, сопернице Стефана в борьбе за английский трон, которая привела к гражданской войне. Матильда признала за Милем права на баронию Бедфорд и должность кастеляна. В 1141 году Миль ненадолго смог вернуть себе замок. В 1146 году замок был захвачен Ранульфом де Жерноном, графом Честером, перешедшим на сторону Стефана. Возможно, что сторонники короля удерживали его до 1153 года, когда его отвоевал будущий король Генрих II Плантагенет, после чего замок был возвращён Бошанам.