督儿玉源太郎主导下开始兴建。当时所选定的位置即是今日圆山大饭店所在，传言风水极佳的剑潭山，然而此时却碰上土地纠纷的问题。剑潭山所在地有许多大稻埕士绅的私有土地以及法国领事馆的租界地，同时神社的预定兴建位置附近也有剑潭寺，土地所有权属问题极为复杂。经过台湾总督府强烈施压下，拆除大稻埕士绅的私有土地、迁建法国领事馆，始才顺利开始动工。
神社结构.1901年（明治34年）2月，台湾神社开始兴建，于同年9月26日完工，并在10月24日举行落成大典，10月27日举行镇座祭，是台湾第三座神社（