夫胡健维医生育有三名女儿，家翁胡百富，曾在1950年代出任市政局议员长达13年，胡百富之兄为前立法局首席非官守议员胡百全，胡百全之妾为息影女星黄夏蕙。余弟余若海亦是资深大律师。2007年，余若薇在诊治中发现脑部出现一个3毫米的动脉瘤，若血管瘤爆开随即中风或致命，她也表示现会积极面对，并如常工作。
加入政坛.在加入政坛前，她曾担任香港大律师公会会长。在香港主权移交中国，在居港权问题上，反对人大释法的坚定立场，渐为港人所认识。于2000年9月程介南因贪污丑闻辞职，余若薇出选立法会