Fredrik Stang vokste opp i 1800-tallets kanskje mest kjente politiske slekt og opplevde slutten av bestefarens tid som statsminister i Stiftsgården. Han var 16 år da bestefaren gikk av i 1884. I voksen alder skulle han også oppleve at faren, Emil Stang, satt to perioder som statsminister.