Zillur Rahman besuchte höhere Schulen in seinem Heimatland und absolvierte ein Studium der Rechtswissenschaften an der University of Dhaka. Schon 1952 wurde Zillur Rahman im Rahmen der bengalischen Sprachenbewegung politisch aktiv. Im Jahre 1970 wurde er als Kandidat der Awami-Liga ins pakistanische Gesamtparlament gewählt. Durch die sohin entstandenen Mehrheitsverhältnisse sahen sich westpakistanische Führer zur Annullierung der Wahl genötigt – andernfalls hätte eine Awami-Regierung für Gesamt-Pakistan gedroht. Diese Unterdrückung der Separatistenbewegung mündete in den Bangladesch-Krieg und dann weiter in die Unabhängigkeit des Landes von Pakistan.