1135년에 헨리 1세가 사망하자 블루아의 스티븐은 헨리 1세의 유일한 적통인 잉글랜드의 마틸다를 축출하고 왕위를 찬탈하였다. 스티븐과 마틸다가 왕위 계승을 놓고 내전을 벌이게 되자 잉글랜드는 무정부시대를 맞게 되었다. 스티븐은 프랑스에서 잉글랜드에 당도하자마자 서둘러 런던과 런던탑을 손에 넣었다. 런던탑은 전략적으로 중요한 위치에 있는 난공불락의 요새였기 때문에 가치가 매우 컸다. 당시 런던탑 무장관은 아버지의 직책을 승계한 제1대 에식스 백작 조프리 드맨더빌이었는데, 그는 자신의 지위를 이용하여 스티븐과 마틸다 사이를 오갔다. 1141년 링컨 전투의 결과 스티븐이 사로잡히게 되자 조프리는 마틸다에게 충성을 서약하였다. 그러나 같은 해 12월에 스티븐이 석방되자 조프리는 다시 돈을 받고 스티븐에게 충성을 바치기로 하였다. 조프리는 이 기회를 이용하여 “잉글랜드에서 가장 부유하고 강력한 인물”이 되었다. 조프리가 같은 수법을 또다시 시도하려고 마틸다와 비밀 회담을 갖자, 스티븐은 조프리를 체포한 뒤 성의 통제권을 포기하도록 강요했고, 자신의 가장 충실한 지지자 가운데 한 사람을 대신 그의 자리에 앉혔다. 그 전까지 런던탑 무장관 직책은 정복자 윌리엄이 자신의 측근이었던 조프리 드맨더빌을 임명한 이후 대대로 세습되었지만, 그때부터는 군주가 임명하는 자리가 되었다. 그 자리는 보통 중요한 사람에게 주어졌는데, 그는 다른 임무 때문에 항상 성에 있지 않을 수도 있었다. 비록 무장관은 여전히 성과 수비대를 유지할 책임이 있었지만, 무장관 밑에는 상당히 이른 시기부터 그 임무를 도와줄 부하인 무장 부관이 있었다. 무장관은 런던 시정에 관련된 의무도 가지고 있었다. 런던탑 무장관은 런던탑의 방어와 함께 런던시의 치안 유지와 세금 징수, 법률 시행, 질서 유지와 같은 공무도 함께 하고 있었다. 1191년에 런던 시장경의 직위가 신설되면서 시정에 관한 런던탑 무장관의 권한은 상당히 줄어들었고, 때로는 둘 사이에 마찰이 빚어지기도 했다.