Pflüger studerte statsvitenskap, statsrett og sosialøkonomi i Göttingen, Bonn og ved Harvard-universitetet i USA, og tok doktorgraden i 1982 med en avhandling om amerikansk utenrikspolitikk og menneskerettigheter. Han ble i 1984 gift med Margarita Mathiopoulos. De ble skilt i 2003. Han har siden bodd sammen med sin tidligere sekretær Sibylle Hällmayr (f. 1977), som han har to barn med.