В обществе он был известен под прозванием Фирса. Князь Н. С. Голицын говорит в своих записках, что князь Сергей Григорьевич «очень милый и любезный собеседник и приятный певец романсов и оперных арий», за эти качества был назван Фирсом (Thyrsis) детьми князя Чернышева, в доме которого был почти домашним человеком, но дело в том, что дети князя Чернышева родились после 1825 года и поэтому не могли дать князю Сергею Григорьевичу никакого прозвища. Так как 14 декабря празднуется память св. Фирса, то по словам князя Н. С. Голицына, по вступлении на престол Николая I "«возникло подозрение, не имеет ли прозвище Фирс какого-нибудь отношения к событию 14 декабря 1825 года и от князя Сергея Григорьевича потребовали объяснений»". Князь Сергей Григорьевич, заподозренный в сочувствии декабристам, принужден был давать объяснения по поводу своего прозвища.