中一种认为该塔的建造时代与其原属的寺庙郎公寺相近，而郎公寺建于前秦皇始元年（351年）；另一种说法则根据塔内所存造像上所刻的东魏武定二年（公元544年）字样，认定该塔的建造时间不会晚于544年。隋朝开皇三年（583年）时，郎公寺被隋文帝杨坚赐名为神通寺。清朝末年以后，神通寺逐渐衰败，寺产被寺内僧人们大肆倒卖，四门塔中原藏的两则题记和部分佛像也遭到盗卖，其中记载杨显叔造像四躯的题记被清末直隶总督端方盗走并转卖，最终流入日本；另一则题记记载唐代景龙二年（768年）尼姑无畏等造弥陀佛及观世音等造像，但最终该题记连