تم بناء قصر الطاهرة في أوائل القرن العشرين، وقد قام ببنائه المعماري الإيطالي أنطونيو لاشياك للأميرة أمينة عزيزة ابنة الخديوى إسماعيل والدة محمد طاهر باشا، وقد تم بنائه على الطراز الإيطالي، ويظهر ذلك جليًا في السلالم الرخام والسقوف المرمر الرائعة. ويعتبر أنطونيو لاشياك من أعظم المعماريين الأجانب الذين جاءوا إلى مصر، وهو الذي صمم مجموعة كبيرة من مبانى وسط البلد مثل الفرع الرئيسى لبنك مصر، عمارات الخديوية، المبنى القديم لوزارة الخارجية المصري بميدان التحرير، مدرسة الناصرية بشارع شامبليون، مبنى محطة الرمل بالإسكندرية. كما أنه أعاد تصميم قصر عابدين بعد تعرضه للحريق، حيث كان مبنيًا قبل ترميمه بالخشب على غرار مبنى الأوبرا القديم الذي تعرض هو الآخر للحريق عام 1971. وقد استطاع لاشياك ببراعة استغلال المساحة الصغيرة لقصر الطاهرة نسبيًا بالقياس لباقى القصور الملكية، في تصميم مبنى القصر بتوازن وجاذبية في الشكل. يحيط بالقصر حديقة بديعة، مكونًا علاقة متناسقة بين المبنى والطبيعة الخلابة المحيطة به. وكان لتأثيثه من الداخل واختيار ديكوراته دورًا مهمًا في توفير الشعور بالترحاب والراحة للزائر والمقيم، حيث وزعت التحف وقطع الأثاث داخل الغرف بتناسق وجمال ينم عن ذوق رفيع. وكان جار طاهر باشا الوحيد خاله الملك فؤاد الذي كان يقيم قصر القبة.

على الرغم من زواج طاهر باشا الملكي لفترة قصيرة من واحدة من بنات عمومته، وكان هذا الحفيد الوحيد من أحفاد الخديوي إسماعيل الذي عاش أعزب معظم حياته، وقد ولد محمد طاهر باشا في إسطنبول، واعتبر محمد (مصطفى شكيب) طاهر تركيا أكثر من مصري بعد أن أمضى جزءًا من طفولته بين الضواحي الراقية في إسطنبول. كان طاهر باشا متعطشًا ومحبًا للرياضة. ونتيجة لذلك، كان أول رئيس للجنة الأولمبية المصرية وراعى للأنشطة الرياضية الأخرى وتشمل نادي محمد علي، النادي الملكي للسيارات ونادي الفيروزية.

خلال الحرب العالمية الثانية، كان طاهر باشا موالي للألمان وتم وضعه، بأمر من بريطانيا تحت الإقامة الجبرية خلال جزء من الحرب العالمية الثانية، أولًا في منزل جنوب حلوان، ثم في المستشفى العسكري في القبة وفيما بعد في سجن بسيناء، وكان في ذلك الوقت قصر الطاهرة منزلًا مؤقتًا لأعضاء آخرين في العائلة المالكة المصرية. أما بالنسبة لطاهر باشا، فإنه انتقل إلى فيلا جميلة في الزمالك. وفي عام 1953، تم مصادرة قصر الطاهرة جنبًا إلى جنب مع بقية القصور التي تنتمي إلى سلالة عائلة محمد علي، من قبل الدولة بعد سقوط النظام الملكي، والكثير من متاع قصر الطاهرة الثمين ظهر في المزادات التي ترعاها الدولة والحكومة في محاولة لملئ خزانتها.
وفي غضون ذلك، جري وضع خطط جديدة من أجل قصر الطاهرة.

استضاف القصر في العهد الملكى الملك سعود ابن عبد العزيز ملك المملكة العربية السعودية ضيفًا واستضافه أيضًا في العهد الجمهورى بعد أن ترك الحكم وأقام فيه. تجدر الإشارة إلى أنه خلال زيارة قام بها الملك سعود في 23-29 مارس 1954 إلى مصر جرت جلسة عمل طوال الليل تاريخية وقعت في قصر الطاهرة وحضر من قبل الملك، الرئيس محمد نجيب وجمال عبد الناصر. وكان الدافع هو إقامة تسوية مؤقتة بين عبد الناصر ومحمد نجيب، ولكن في نهاية المطاف، أطاح عبد الناصر بمحمد نجيب من السلطة في تشرين الثاني/ نوفمبر من ذلك العام.

خلال عام 1973، شهد القصر لقاءات الاستعداد لحرب أكتوبر، وكان هناك نشاط من نوع مختلف في قصرالطاهرة. وفي تكتم شديد، تم إجراء تحويل أجزاء من القصر إلى غرف متابعة للحرب. غطت الخرائط الضخمة لسيناء المرايا البلجيكية، وأيضًا التذكارات واللوحات التي كانت تزين الجدران، غطتها صور منطقة قناة السويس. ووجه الرئيس السادات من قصر الطاهرة بشأن عبور القناة. وبمرور الوقت، كان مقر إقامة أرملة شاه إيران في عام 1980، وكان قصر الطاهرة بالفعل في حالة مزرية من السوء، إضافة إلى آثار الإهمال والنهب التي بدأت تظهر عليه، وربما كان هذا السبب في أن الامبراطورة فرح ديبا، مع عائلتها الإيرانية، فضلوا استئجار فيلا في جنوب فرنسا. ومن بين المقيمين في هذا القصر كان رئيس الوزراء في فرنسا ليونيل جوسبان، الذي أقام في قصر الطاهرة في أثناء زيارته لمصر.