Le grand électeur de l'Empire s'entoure également d'une maison composée d'un premier chambellan, d'un chambellan, d'un premier écuyer, d'un écuyer cavalcadour, d'un secrétaire des commandements, d'un aumônier, d'un bibliothécaire et d'un intendant. Cette situation pourtant favorable est loin de satisfaire le frère de l'empereur. Le faste qui entoure sa nouvelle fonction l'incommode, ce qui le pousse à refuser le costume de grand électeur dessiné pour lui, tout comme il demande à ses proches de ne pas utiliser le prédicat de Monseigneur pour s'adresser à lui. Plus encore, il désapprouve le protocole prévu pour le sacre de l'empereur, le , qui laisse selon lui la part belle au jeune Napoléon-Charles, fils de Louis Bonaparte et pressenti pour être adopté par Napoléon en vue d'en faire l'héritier direct du trône. La reproduction officielle de l'événement par le peintre Jacques-Louis David accentue son ressentiment : Joseph Bonaparte et son frère Louis sont rejetés dans le coin gauche de la toile tandis que Napoléon-Charles, en bonne lumière et tenant la main de sa mère Hortense, fait pendant au pape. Cette composition tend à confirmer que c'est bien le jeune enfant qui figure comme l'héritier présomptif de .