Under början av 1960-talet flyttades museet t ill Vaxholms kastell för att återinvigas där 1964 .