খাজা রহমত উল্লাহ এক সময়ে ছাত্রলীগের কেন্দ্রীয় কমিটির ক্রীড়া সম্পাদক ছিলেন। ১৯৭৭ সালে উদিতি ক্লাবের হয়ে দ্বিতীয় বিভাগে হকির ক্যারিয়ার শুরু করেন তিনি। ১৯৭৮ সালে যোগদান করেন সাধারণ বীমায়। পরের বছর তার নৈপুণ্যে সাধারণ বীমা প্রথম বিভাগে চ্যাম্পিয়ন হয়। ১৯৮৫ সালে মোহামেডান স্পোর্টিং ক্লাবে যোগদানের এক বছর পর চলে যান আবাহনীতে। সেখানে একটানা খেলার পর ১৯৯৫ সালে আবাহনীর হয়েই ক্যারিয়ার শেষ করেন খাজা রহমত উল্লাহ। ১৯৮৬ সালে সিওল অলিম্পিকের পর এশিয়ান একাদশে ডাক পেয়েছিলেন তিনি। কিন্তু ইনজুরির কারণে খেলা হয়নি তার।