有苏州、上海、烟台等多个分所（分部）。现任所长为孙凝晖研究员。计算所有计算机体系结构国家重点实验室、中国科学院智能信息处理重点实验室、中国科学院网络数据科学与技术重点实验室等13个研究实体。计算所自1960年起开展研究生教育，是中国首批博士、硕士学位授予点。目前在读研究生人数约为1000人。计算所曾陆续分离出中国科学院微电子研究所、计算中心、软件研究所和计算机网络信息中心等多个研究机构，以及联想、曙光、龙芯、寒武纪等高技术企业。