公家の女子が就くことが多い上臈御年寄は、地位は高いものの権力を持たないことが多いが、姉小路は例外的に絶大な権勢を持ったため、家慶と閨を共にしたとの説もあり、当時の江戸市中でもその風聞が流れていたという。