ষাটের দশকে কিছুদিন বাবুগঞ্জ পাইলট উচ্চ বিদ্যালয়ের প্রধান শিক্ষকের দায়িত্ব পালন করেন। পরে বরিশালে আইন পেশায় জড়িয়ে পড়েন। ১৯৬২ ও ১৯৬৫ সালে তিনি পূর্ব পাকিস্তান আইনসভার সদস্য নির্বাচিত হন। ১৯৬৫ থেকে ১৯৬৯ পর্যন্ত তিনি সংসদ সচিব হিসেবে দায়িত্ব পালন করেন। ১৯৬৭ সালে তিনি জাতিসংঘের ২২তম সাধারণ সভায় অংশগ্রহণ করেন। ১৯৭৪ ও ১৯৭৬ সালে তিনি বরিশাল বার আসোসিয়েশনের সভাপতি নির্বাচিত হন। ১৯৭৭ সালে তিনি বরিশাল পৌরসভার চেয়ারম্যান নির্বাচিত হন। ১৯৭৯ সালের সাধারণ নির্বাচনে আবদুর রহমান বিশ্বাস সংসদ সদস্য নির্বাচিত হন। ১৯৭৯-৮০ সময়ে তিনি রাষ্ট্রপতি জিয়াউর রহমানের মন্ত্রিসভায় পাটমন্ত্রী ছিলেন এবং ১৯৮১-৮২ সালে রাষ্ট্রপতি বিচারপতি আবদুস সাত্তারের মন্ত্রিসভায় স্বাস্থ্যমন্ত্রী ছিলেন।