RecursiveCharacterTextSplitter overlap sometimes does not work
Labels: name: area: doc loader, name: auto:bug

### System Info

langchain  0.0.240

### Who can help?

_No response_

### Information

- [ ] The official example notebooks/scripts
- [ ] My own modified scripts

### Related Components

- [ ] LLMs/Chat Models
- [ ] Embedding Models
- [ ] Prompts / Prompt Templates / Prompt Selectors
- [ ] Output Parsers
- [ ] Document Loaders
- [ ] Vector Stores / Retrievers
- [ ] Memory
- [ ] Agents / Agent Executors
- [ ] Tools / Toolkits
- [ ] Chains
- [ ] Callbacks/Tracing
- [ ] Async

### Reproduction

1. Run the following code below:
```python
text = """14、中国证券报：今年以来，多个 数字人 民币试点地区开展了丰富多彩的数字人民币促消费活动，活跃消费市场，提振消费需求。不少地方政府向民众发放了数字人民币消费券，拉动居民消费，据记者粗略统计，活动金额超过1.8亿元。业内专家认为，数字人民币与消费券、电商平台等场景结合，可共同促进消费市场加快回暖。&nbsp;15、猫眼专业版：电影《流浪地球2》上映15天，总票房已经破33亿。从综合票房看，《流浪地球2》再次登顶单日票房榜。2月5日单日实时票房超1.3亿元，领先第二名《满江红》近2000万，锁定单日票房冠军。目前，《流浪地球2》的票房占比34.5%，排片场次92126次。&nbsp;二、市场回顾【国内股市】&nbsp;1、2月6日，沪深两市三大指数弱势震荡，沪指跌0.76%， 深证成指 跌1.18%， 创业板 指跌1.4%。盘面上看， ChatGPT概念 持续火爆， 海天瑞声 、 云从科技 涨停6个交易日翻倍； 数字经济 概念盘中发酵， 铜牛信息 涨停；信创、软件股逆市走强， 青 云科技 涨停；八部门适度超前建设充换电基础设施， 充电桩 概念活跃。 白酒 、CRO、新冠 疫苗 、 券商 、 黄金 有色、 保险 、 磷化工 等板块跌幅居前。&nbsp;2、港股低开低走，截至收盘， 恒生指数 跌2.02%，报21222.16点； 国企指数 跌2.68%， 红筹指数 跌1.37%。 恒生科技指数 跌3.65%，万国数据跌8.65%，哔哩哔哩跌5.38%，快手跌5.05%。 黄金股 集体走低， 山东黄金 跌6.01%， 紫金矿业 跌超5%， 招金矿业 跌4.56%。汽车股下跌， 长城汽车 跌超6%，蔚来跌超5%， 零跑汽车 跌4.80%。&nbsp;3、年2月6日， 大智慧 数据中心显示，龙虎榜中营业部净卖出3616.66万元。其中，净买入的个股24只，营业部净买入较多个股分别是 润和软件 、 信达证券 、 川大智胜 等，净买入金额占当日成交额比例达2.95%、80.60%、7.19%。净卖出的个股23只，营业部净卖出居前个股分别为 赛为智能 、 同为股份 、 万里石 等，净卖出金额占当日成交额比例达4.92%、4.32%、11.78%。&nbsp;龙虎榜中机构净卖出1.64亿元。其中，净买入的个股8只，机构净买入较多个股分别是同为股份、 飞龙股份 、赛为智能等，净买入金额占当日成交额比例达0.82%、1.35%、0.48%。净卖出的个股19只，机构净卖出居前个股分别为润和软件、 博睿数据 、 宏景科技 等，净卖出金额占当日成交额比例达0.70%、12.88%、4.76%。&nbsp;4、北向资金2月6日小幅净卖出5.43亿。其中净买入第一位 贵州茅台 5.46亿、 宁德时代 4.69亿紧随其后，净卖出 万科A 3.87亿、 科大讯飞 2.18亿。南向资金今日净流入19.90亿港元。港股通（沪）方面，恒生中国企业、盈富基金净买入居前，分别获净买入7.77亿港元、5.78亿港元。港股通（深）方面，盈富基金、恒生中国企业净买入居前，分别获净买入25.00亿港元、8.67亿港元。&nbsp;【环球市场】&nbsp;1、美股：北京时间7日凌晨，美股周一录得连续第二个交易日收跌。美国国债收益率连续两日大幅攀升令市场情绪紧张。投资者关注美股财报，并等待美联储主席鲍威尔明天将发表的重要讲话。 标普500 指数收跌25.40点，跌幅0.61%，报4111.08点。道指收跌34.99点，跌幅0.10%，报33891.02点。纳指收跌119.50点，跌幅1.00%，报11887.45点。&nbsp;2、欧股：德国DAX 30指数收跌0.84%，报15345.91点。法国CAC 40指数收跌1.34%，报7137.10点。英国富时100指数收跌0.82%，报7836.71点。&nbsp;3、黄金：COMEX 4月黄金期货收涨0.15%，报1879.50美元/盎司。&nbsp;4、 原油 ：WTI 3月原油期货收涨0.72美元，涨幅0.98%，报74.11美元/桶。布伦特4月原油期货收涨1.05美元，涨幅1.31%，报80.99美元/桶。&nbsp;【机构策略】&nbsp;对于近日市场走势，银河证券指出，节后市场短期波动原因包括：1)春节前市场情绪高涨，第一波上涨实现后，投资者转而更加关注基本面是否能够兑现，市场出现震荡。2)北向资金节前大幅净流入，但对比美国经济复苏初期，我国目前直接促消费措施力度有限，叠加近期上市公司业绩逐步披露兑现，经济修复仍有部分不确定性因素存在，或与外资对我国经济复苏的节奏判断产生预期差，节后也可以看到北向资金流入短暂放缓，增量资金的支持减弱。3)从已披露2022年报业绩预告来看，受去年四季度受疫情冲击拖累，部分企业开工及居民消费都受到较大影响，预计2022年年报业绩仍处底部区间。4)外围市场来看，美国就业数据大超预期引发投资者对美联储加息预期产生分歧，短期引发市场担忧。&nbsp;该机构认为，虽目前市场短期有一定波动，但中期中国经济企稳增长预期将不断兑现、市场流动性充足支撑、盈利面逐步回暖等对市场形成支撑。同时春节并未带来二次疫情高峰使内资对疫情反复的担忧下降，未来内资或将逐步接棒北向资金。从风格角度看，2022年11月以来，市场春季躁动效应演绎充分，大盘股长势较好。从1月份以来， 中小盘 股开始逐渐举起，行业也从消费切换到科技，风格切换明显，我们认为短期 小盘成长 风格或延续占优：一是成长板块，尤其是TMT板块，整体估值处于历史较低位置，安全垫高，反弹动力强。二是从资金流动的视角，消费板块在经历快速上涨后，目前股价有所回落，成长板块仍是资金配置的最优选择。三是主题风格的演绎催化带动成长板块的上行，行业景气度持续提升，如近期ChatGPT的快速突破也使得 人工智能 产业链备受投资者青睐，未来发展空间广阔。值得注意的是，目前成长板块上涨较快，短期可能面临交易过热或技术位调整的风险，但整体来看，小盘风格占优的趋势仍将延续。四是从投资日历角度来看，2月科技板块胜率较高。&nbsp;【新股申购】&nbsp;一致魔芋证券代码839273，发行价11.38元，发行市盈率15.98倍，主营魔芋及魔芋相关产品。&nbsp;扬州金泉证券代码603307，发行价31.04元，发行市盈率21.61倍，主营帐篷和睡袋。&nbsp;坤泰股份证券代码001260，发行价14.27元，发行市盈率22.98倍，主营汽车地毯、脚垫。&nbsp;三、公司公告和预警&nbsp;【业绩】&nbsp;通化东宝：业绩快报2022年净利同比增21.46%&nbsp;富煌钢构：2022年累计新签销售合同额约49.8亿元 同比下降11%&nbsp;新城控股：1月实现合同销售金额约57.76亿元 比上年同期减少26.54%&nbsp;金地商置：1月合约销售约22.96亿元 同比降59.68%&nbsp;融信中国：1月合约销售约9.95亿元 同比降84.7%&nbsp;新城发展：1月合约销售金额约57.76亿元 同比降24.81%&nbsp;华安证券：业绩快报2022年实现净利11.81亿元 同比降17%&nbsp;恒投证券：预计2022年度股东应占亏损约11.59亿元 同比盈转亏&nbsp;保利置业：1月合同销售金额约49亿元 同比增长105%&nbsp;融创中国：1月合同销售约72.3亿元 同比降74.1%&nbsp;【重大事项】&nbsp;永鼎股份：全资子公司获得12.4亿元线束业务中标确认&nbsp;康跃科技：拟将证券简称变更为&ldquo;长药控股&rdquo;&nbsp;壹网壹创：公司目前已部署AI内容分析&nbsp;奥飞数据：公司为百度AI业务提供算力服务支持&nbsp;晶方科技：&ldquo;MEMS 传感器 芯片先进封装测试平台&rdquo;项目获得立项批复&nbsp;合兴股份：拟公开发行可转债募资不超6.1亿元&nbsp;风语筑：公司已结合AIGC技术在文生文、文生图、文生音视频等领域进行场景应用&nbsp;保利发展：拟打包转让12个与 碧桂园 合作项目公司股权&nbsp;大族激光：目前接近式 光刻机 已投入市场&nbsp;凯立新材：拟定增募资不超过10.75亿元&nbsp;宇通客车：宇通集团等拟要约收购公司股份 要约价为7.89元/股&nbsp;【增减持】&nbsp;天通股份：公司拟减持 亚光科技 不超1%股份&nbsp;隆华新材：新余隆振拟减持不超0.88%&nbsp;海程邦达：股东及董监高拟减持不超1.91%&nbsp;ST开元：实控人拟减持公司不超1.4%股份&nbsp;沃尔德：实际控制人及一致行动人拟合计减持不超4.01%&nbsp;海南高速：拟减持不超 海汽集团 3%股份&nbsp;马云减持约3194万港元，虞锋减持约5728万港元腾盛博药&nbsp;神州数码：股东王晓岩拟减持不超2%股份&nbsp;友邦保险：回购263.08万股 耗资约2.25亿港元&nbsp;【预警】&nbsp;川能动力：公司董事长被立案调查&nbsp;云从科技：未与OpenAI开展合作 ChatGPT的产品和服务未给公司带来业务收入&nbsp;海天瑞声：尚未与OpenAI开展合作 ChatGPT产品和服务尚未给公司带来业务收入&nbsp;新国都：子公司业务暂不涉及ChatGPT文本生成式AIGC领域&nbsp;ST三圣：公司及控股股东潘先文遭证监会立案&nbsp;"""

import os
from langchain.text_splitter import CharacterTextSplitter, RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(separators=["\n\n", "\n", "。", "&nbsp;"], keep_separator=False, chunk_size=256, chunk_overlap=64)
docs = text_splitter.create_documents([text])
docs
```


### Expected behavior

BUG: I get 19 documents. For example, let's see the 2nd and 3rd document. They actually don't have any overlaps. They are exactly cut by  `。`  in the middle (which I mark it with `||` ) : `2月6日，沪深两市三大指数弱势震荡，沪指跌0.76%， 深证成指 跌1.18%， 创业板 指跌1.4%` `||` `。` `||` `盘面上看， ChatGPT概念 持续火爆， 海天瑞声 、 云从科技 涨停6个交易日翻倍； ` . I put the example below:

1st: ... is ok, have a trunc of overlap
2nd: `2月5日单日实时票房超1.3亿元，领先第二名《满江红》近2000万，锁定单日票房冠军。目前，《流浪地球2》的票房占比34.5%，排片场次92126次。&nbsp;二、市场回顾【国内股市】&nbsp;1、2月6日，沪深两市三大指数弱势震荡，沪指跌0.76%， 深证成指 跌1.18%， 创业板 指跌1.4%`
3rd: `盘面上看， ChatGPT概念 持续火爆， 海天瑞声 、 云从科技 涨停6个交易日翻倍； 数字经济 概念盘中发酵， 铜牛信息 涨停；信创、软件股逆市走强， 青 云科技 涨停；八部门适度超前建设充换电基础设施， 充电桩 概念活跃。 白酒 、CRO、新冠 疫苗 、 券商 、 黄金 有色、 保险 、 磷化工 等板块跌幅居前。&nbsp;2、港股低开低走，截至收盘， 恒生指数 跌2.02%，报21222.16点； 国企指数 跌2.68%， 红筹指数 跌1.37%`

There are also a lot of non overlapped documents in these 19 splitted documents. Please have a lot. Thanks!