Han var sønn av bakermester Iver Widerøe og hustru Anna Dorothea Tostrup. Farfaren var sorenskriver i Sunnfjord, og faren tok borgerskap i Trondhjem som baker. Bakerivirksomheten ble videreført av F.A. Widerøes eldre bror Olaus og hans etterslekt. Morfaren Svend Tostrup var sogneprest i Åfjord.