1917年9月兼任孙中山大元帅府秘书。后来孙中山辞去大元帅职，林庚白也随之引退。1921年，奉孙中山派遣，到北洋第二舰队从事策反活动，但策反未果。
南京时期.1927年四一二政变后，一直信仰马列主义与唯物史观的林庚白，因为对马克思主义的唯物观产生怀疑，而一度消极，闭门读书，研究诗词。1928年之后，在南京先后任国民政府外交部顾问、南京市政府参事。1933年，林庚白在上海创办《长风》半月刊。这一时期，他创作诗文很多，先后编校《庚白诗存》、《庚白诗词集》，还着有《孑楼随笔》、《孑楼诗词