以投递支局、集邮中心及博物馆综合局屋申请建造10层大楼。1980年7月7日，《交通部邮政总局组织法》修正公布，邮政博物馆成为邮政总局之附属机构，裁撤副馆长职位，原设三课改为「典藏课」、「事务课」及「展览课」。1981年5月29日，交通部邮政总局与唐荣铁工厂议价发包邮政博物馆建馆工程。1981年6月25日，邮政博物馆迁建小组召开第五次会议，通过迁馆工作计画大纲，邮政总局邮政研究所所长潘安生担任「历史之部」召集人兼指导委员，邮政总局业务处处长王南山负责「业务之部」，邮政总局集邮处处长胡全木负责「集邮之部」。