原帝国图书馆的藏书和设施继续保留在上野区，成为了国立国会图书馆分支机构之一的支部上野图书馆。根据《国立国会图书馆建筑委员会法》（昭和23年法律第6号），国立国会图书馆的正式馆舍被定于国会议事堂北侧的德国驻日大使馆旧址（东京都千代田区永田町），选用了前川国男的设计方案，并在1961年（昭和36年）完成了首期工程，开始收藏图书。开馆之际馆藏图书有205万册，主要包括从贵族院和众议院两院附属图书馆继承的图书、赤坂的临时国会图书馆收藏的图书约100万册，以及以战前帝国图书馆馆藏为主体的上野图书馆的藏书约100万