横須賀藩
父親の富永發叔（辰次郎，1833～1919年）は横須賀藩目付役・普請奉行等を経て、維新後民部省・工部省・三潴県・長崎県などの官吏を歴任し、明治35年に衆議院議員となった。