वह एक राजनेता के तौर पर जितने सराहे गए, उतना ही प्यार एक कवि के तौर पर भी उन्हें मिला। कविता उन्हें विरासत में मिली थी और अगर वह राजनेता न होते, तो पूरे तौर ‌कवि होते। वह जब भी किसी दुख या प्रसन्नता के अनुभव से गुजरते उनका कवि हृदय मचल उठता था और उनकी कलम से कविता फूट पड़ती थी। उनकी कई कविताओं में जहां उनके निजी अनुभव, भावनाएं झलकती हैं, वहीं कुछ में जीवन को लेकर उनका अलग ही नजरिया सामने आता है। उनके पसंदीदा कवियों और शायरों में सूर्यकांत त्रिपाठी निराला, हरिवंशराय बच्चन, शिवमंगल सिंह सुमन और फ़ैज़ अहमद फ़ैज़ के नाम शामिल हैं। फिल्में और शास्त्रीय संगीत भी उन्हें बेहद पसंद था। भीमसेन जोशी, अमजद अली खां और कुमार गंधर्व को वह अक्सर सुना करते थे। कविताओं को लेकर पूर्व प्रधानमंत्री अटल बिहारी वाजपेयी ने कहा था कि 'मेरी कविता जंग का ऐलान है, पराजय की प्रस्तावना नहींं'। यह बात उनकी पाकिस्तान पर लिखी गई ‘शीश नहीं झुकेगा’ क‌विता में साबित भी होती है। उनकी कविताओं का संकलन 'मेरी इक्यावन कविताएं' खूब चर्चित रहा।