1144 wurde die Burg von einheimischen Beduinen überfallen, im Handstreich erobert und die fränkische Garnison getötet. Damals befanden sich die Kreuzfahrer in einer geschwächten Position, da ihr König Fulko gestorben war und sein Nachfolger Balduin III. noch minderjährig. Der erst 13-jährige König ließ daraufhin seine erste Expedition ausrüsten, die Burg belagern und zurückerobern. Die Burg wurde wieder mit einer soliden Garnison ausgestattet, die 1158 einer Belagerung durch die Fatimiden standhielt. Nach Saladins Sieg bei Hattin wurde Vaux Moise 1188 schließlich von den Ayyubiden erobert.