馆和支部图书馆组成。中央图书馆分为位于东京永田町的东京本馆和位于京都府的关西分馆，这两个图书馆负责收藏保存除国际儿童图书馆涉及的图书以外的各类图书资料。此外，在国会议事堂中，也设有附属于中央图书馆的国立国会图书馆国会分馆。作为支部图书馆，主要有国际儿童图书馆、东洋文库以及各个行政司法部门内部的图书馆。其中的国际儿童图书馆，负责保存和提供借阅根据法定呈缴本制度而收集的日本国内出版物中的18岁以下读物，因此性质上接近于中央图书馆的分馆。另外，支部东洋文库是由专门研究亚洲的图书馆兼研究所的财团法人东洋文库捐助