با اوج‌گیری انقلاب در سال ۱۳۵۶، موسوی اردبیلی به همراه گروهی از روحانیان سیاسی نزدیک به روح‌الله خمینی به فکر تأسیس گروهی سیاسی برای انسجام بیشتر روحانیت بودند. گویا مرتضی مطهری و محمد حسینی‌بهشتی برای چنین کاری پیش‌قدم شدند و سیدعلی خامنه‌ای، علی مشکینی، محمدجواد باهنر، محمد مفتح و سید عبدالکریم موسوی‌اردبیلی نیز به آنان پیوستند و گروهی با نام «جامعه روحانیت مبارز تهران» را تشکیل دادند. در پنجم آبان ۱۳۵۶ این گروه با صدور بیانیه‌ای به مناسبت درگذشت سید مصطفی خمینی رسماً اعلام موجودیت کرد.