او در ۸ بهمن ۱۳۰۴ در شهر اردبیل به دنیا آمد. پدرش میرعبدالرحیم، روحانی بود و مادرش را در کودکی از دست داد. وی تحصیلات خود را در دوران کودکی و در مکتب‌خانه آغاز کرد و در سال ۱۳۱۹ وارد مدرسهٔ علمیهٔ ملاابراهیم در شهر اردبیل شد. در دورانی که وی وارد مدرسه طلبگی گشت، این مدارس به علت اقدامات رضا شاه رونق چندانی نداشتند؛ مثلاً در همان زمان فقط چهار طلبه در آن مدرسه درس حوزوی می‌خواندند. بعد از اینکه متفقین خاک ایران را اشغال کردند و رضاشاه برکنار شد، رونق این مدارس بیشتر شد؛ در نتیجه موسوی اردبیلی در همان مدرسه به تدریس مشغول شد. وی در سال ۱۳۲۲ برای خواندن درس حوزوی در مراتب بالاتر وارد شهر قم شد و حدوداً سه سال در این شهر اقامت گزید. وی در قم شاگرد کسانی چون سید محمدرضا گلپایگانی، سید احمد خوانساری بود.