说是道光十五年（1835年）有位来台的唐山人士途经五里牌，为了避雨在树下休息，忘了把观音神像带走，才由信众建寺供奉。戴潮春事件后，清军王桢、郑荣献在苗栗、台中海线敬献七方匾额，此寺赠有写有「慈芘兵戎」匾额，其他梧栖万兴宫、梧栖真武宫、大甲镇澜宫、清水紫云巖、大庄浩天宫也有赠。1971年，年久失修，遂成立改建委员会，由赖玉振主事，同年11月间正殿完工。1978年，改组为管理委员会，由朱火木出任主任委员。1995年，台湾省政府欲拓宽台一线纵贯公路为四线道，因通霄段需要拆移慈云寺，由台湾省省长