আব্দুর রউফ ১৯৬২ সালে পাকিস্তান নৌবাহিনীতে যোগদান করেন। কর্মরত অবস্থায় স্বাধীন বাংলাদেশ আন্দোলনের সাথে যুক্ত হওয়ার কারণে ১৯৬৮ সালে গ্রেপ্তার হোন। আগরতলা ষড়যন্ত্র মামলায় অভিযুক্ত হয়ে শেখ মুজিবুর রহমানের সাথে ১৪ মাস কারাগারে থাকেন। পরবর্তীতে ১৯৬৯ সালে গণ-অভ্যুত্থানের পর মুক্তি পান। এরপর নরসিংদী কলেজে অধ্যক্ষ হিসেবে নিযুক্ত হোন। স্বাধীনতা যুদ্ধে মুক্তিযুদ্ধের একজন গুরুত্বপূর্ণ সংগঠক ছিলেন। মোজাফফর আহমেদের নেতৃত্বাধীন ন্যাপ ও ছাত্র ইউনিয়নের তরুণদের সমন্বয়ে গঠিত বিশেষ গেরিলা বাহিনীর তিন-সদস্যবিশিষ্ট পরিচালকমণ্ডলীর অন্যতম সদস্য ছিলেন তিনি। ১৯৭২ সালের আগস্ট মাসে তিনি বাংলাদেশ নৌবাহিনীতে যোগদান করেন এবং ১৯৭৩ সালে কমান্ডার পদে উন্নীত হন। ১৯৭৫ সালে বঙ্গবন্ধু নিহত হওয়ার পর তিনি কারারুদ্ধ হোন। ১৯৭৬ সালে তিনি মুক্তি পান। ১৯৯৩ সালে কামাল হোসেনের সাথে গণফোরাম প্রতিষ্ঠা করেন এবং আমৃত্যু গণফোরামের সভাপতিমণ্ডলীর সদস্য ছিলেন।