主权移交后，李君夏曾被中央人民政府邀请到北京会面，要求他交代一些资料，但被李君夏拒绝，结果在北京返港时无人送机，与北上时有人接机欢迎形成对比。2006年，当时年届69岁的李君夏离任长和集团的顾问工作，正式过退休生活。退休后醉心钻研古董及古玉，不时在荷李活道古董店舖一带出现。李君夏早在三、四十岁时开始研究古玉，有数十年研究古玉的经验，有过千年以上历史的远古玉器更是他的心头好。其中一间古董店舖老板娘与李君夏相识二十多年，大赞他「好好人」，从来没有架子。 2016年12月，李君夏出席九龙总商会新一届理监事