薇生于香港，祖籍上海，是天主教徒。曾就读于嘉诺撒圣方济各书院和圣保罗男女中学，为香港大学法律学士，伦敦政治经济学院法律硕士。已婚，与丈夫胡健维医生育有三名女儿，家翁胡百富，曾在1950年代出任市政局议员长达13年，胡百富之兄为前立法局首席非官守议员胡百全，胡百全之妾为息影女星黄夏蕙。余弟余若海亦是资深大律师。2007年，余若薇在诊治中发现脑部出现一个3毫米的动脉瘤，若血管瘤爆开随即中风或致命，她也表示现会积极面对，并如常工作。
加入政坛.在加入政坛前，她曾担任香港大律师公