只好携眷回台。1905年，《福建日日新闻》关闭后，连横又于同年回到日本统治的台湾，在由《台澎日报》改版而成的《台南新报》内担任。1906年，连横因酷爱吟诗，与友人赵云石、谢籁轩等十余人在台南创南社（不同于1909年辛亥革命时期创立的的同名文学团体南社）。1908年，连横举家迁到台中，任职于台中发行的《台湾新闻》汉文部。同年，连横开始撰写《台湾通史》。1909年，连横应友人林朝崧之邀加盟为栎社社友，与社友以道德文章相切磋。（註：依据傅钖祺栎社沿革志略，栎社系于1902年由雾峰林痴仙（俊堂）、林