初期的1629年（宽永6年），水户德川家的初代藩主德川赖房从江户幕府拜领了今天后乐园及其周边的土地作为自己和家族在江户城的居住地，并在此设计、兴建房屋和后园。庭园的建造在第二代藩主德川光圀的主持下完成，并听取友人、明朝遗臣朱舜水的意见，依据战国儒学思想家孟子所作《孟子梁惠王上》之中的名句“贤者而后乐此”将庭园命名为后乐园。此后的后乐园长期作为水户藩主的私人庭园，直至1869年（明治2年），最后一任水户藩主德川昭武在版籍奉还时同时将住宅和庭园寄赠给新政府。陆军省管辖这片土地时，将在原先住宅的地块上建设了东