屋邨长大，有一比她小4岁的妹妹余洁滢（Zoe Yu）。余香凝儿时活泼好动，性格刚直，父亲则期望其如近代中国女性革命家、艺术家兼妇女运动先驱何香凝般斯文有礼，故为其取名香凝。早年就读保良局朱正贤小学下午校和圣母无玷圣心书院。余香凝曾经与男演员陈家乐交往3年，获男方认定是结婚对象。2017年3月余驾车时在吐露港公路被另一辆车撞，伤及左边脸并导致鼻骨爆裂。2018年年中，余香凝认在保险才俊家留宿，陈家乐痛哭，二人分手。余香凝曾于访问中表示刚入行时身边的人比较现实，连带自己也变得现实，只希望能赚钱，