আতাউর রহমান খান ছাত্রজীবন থেকেই রাজনীতির সাথে যুক্ত ছিলেন। ১৯৪৯ সালের ২৩ জুন আওয়ামী লীগ গঠনের সময় তিনি সহ-সভাপতির (১৯৪৯ - ১৯৬৪) দায়িত্ব গ্রহণ করেন। ১৯৫২ সালের ৩০শে জানুয়ারি প্রতিষ্ঠিত "সর্বদলীয় রাষ্ট্রভাষা কর্মপরিষদ" এর অন্যতম সদস্য ছিলেন। ১৯৫৪ সালে যুক্তফ্রন্টের মনোনয়নে পূর্ববঙ্গ ব্যবস্থাপক পরিষদের সদস্য নির্বাচিত হন এবং একই বছরে পূর্ববং সরকারের বেসামরিক সরবারহ দপ্তরের মন্ত্রী হিসেবেও নিযুক্তি লাভ করেন। এরপর যুক্তফ্রন্টের মন্ত্রিসভা (৩০শে মে, ১৯৫৪) ভেঙে দেয়া হলে ১৯৫৫ সালে পূর্ববঙ্গ পরিষদের সদস্যদের ভোটে গণপরিষদের সদস্য নির্বাচিত হন। সদস্য থাকাকালীন আতাউর রহমান খান বিরোধী দলের নেতা এবং উপনেতা হিসেবে দায়িত্ব পালন করেন। ১৯৫৬ সালে পূর্ব পাকিস্তানের মূখ্যমন্ত্রী হিসেবে শপথ নিয়ে সামরিক শাসন জারির (৬ই সেপ্টেম্বর, ১৯৫৬) পূর্ব পর্যন্ত এই দায়িত্ব পালন করেছিলেন। ১৯৬২ সালে হোসেন শহীদ সোহ্‌রাওয়ার্দীর সাথে ন্যাশনাল ডেমোক্রেটিক ফ্রন্ট গঠন করে গণতন্ত্র পুনর্বহালের জন্য আন্দোলন করতে থাকেন। ১৯৬৯ সালের ২০শে জুলাই তার নেতৃত্বে জাতীয় লীগ গঠিত হয়। আতাউর রহমান খান ১৯৭০ সালের জাতীয় পরিষদের নির্বাচনে ঢাকা-৩ আসন থেকে নির্বাচনে প্রতিদ্বন্দ্ব্বিতা করে পরাজিত হন। ১৯৭১ সালে বাংলাদেশের স্বাধীনতা যুদ্ধকালীন সময়ে গ্রামের বাড়ি থেকে পাকিস্তানি সেনাবাহিনীর হাতে বন্দী হন। সেপ্টেম্বর মাসে ঢাকা কেন্দ্রীয় কারাগার থেকে মুক্তিলাভ করেন। ১৯৭৩ সালে ঢাকা-১৯ আসন থেকে জাতীয় সংসদের সদস্য নির্বাচিত হন। পরবর্তীতে শেখ মুজিবুর রহমানের নেতৃত্বাধীন বাকশাল-এ যোগ দিয়ে এর এর কেন্দ্রীয় কমিটির সদস্য হন। শেখ মুজিবুর রহমানের মৃত্যুর পর বাকশালের বিলুপ্তি হলে তিনি জাতীয় লীগ পুনরায় সংগঠিত করেন। ১৯৭৯ সালে অনুষ্ঠিত নির্বাচনে (১৮ই ফেব্রুয়ারি) ঢাকা-২১ আসন থেকে সংসদ সদস্য নির্বাচিত হন। ১৯৮৩ - ১৯৮৪ সাত দলীয় জোটের অন্যতম সদস্য হিসেবে এরশাদ সরকারের সামরিক শাসনের বিরুদ্ধে আন্দোলন করলেও পরবর্তীকালে মত পরিবর্তন করে এরশাদ সরকারের মন্ত্রিসভায় যোগ দেন এবং ১৯৮৪ সালের ৩০শে মার্চ প্রধানমন্ত্রী পদে নিযুক্ত হন। এ পদে অধিষ্ঠিত ছিলেন ১৯৮৫ সালের ১লা জানুয়ারি পর্যন্ত।