Faye arbeidet som handelsmann på Bryggen inntil han i 1856 ble oppnevnt som direktør av den nylige opprettede Bergens Privatbank, en post han hadde inntil 1903. Han satt i Bergens byråd i mange år og var ordfører i 1862. Han satt tre perioder i Stortinget; 1857–58, 1865–67 og 1868–70.