في عام 1295 كانت وستمنستر مقر البرلمان الصوري وهو أول جمعية تمثيلية إنجليزية استدعاها إدوارد الأول ملك إنجلترا. خلال فترة حكم إدوارد الأول ملك إنجلترا دعا ستة عشر برلمانًا واجتمع أعضاؤها في غرفة الملونة التابعة لقصر وستمنستر أو الغرفة البيضاء. بحلول عام 1332 بدأ البارونات -الذين يمثلون الطبقات العليا- والمواطنون -الذين يمثلون العامة- يجتمعون بشكل منفصل، وبحلول عام 1377 انفصلت الهيئتان تمامًا. دُمر جزء من مجمع القصر الملكي جراء الحريق الذي اندلع سنة 1512، ومن ثم نقل هنري الثامن ملك إنجلترا المقر الملكي إلى قصر وايت هول، وبالرغم من ذلك ظل يُشار إلى قصر وستمنستر على أنه القصر الملكي. في عام 1547 قام إدوارد السادس -ولي عهد هنري الثامن ملك إنجلترا- بتوفير غرفة كنيسة القديس ستيفن لأعضاء مجلس العموم لكي تكون مكانًا لعقد مناقشاتهم و مناظراتهم. أما مجلس اللوردات فكانت تعقد اجتماعاته في قاعة العصور الوسطى الموجودة بقاعة الملكة، قبل نقل اجتماعاتهم إلى القاعة الصُغرى عام 1801. على مر ثلاثة عصور ابتداءً من 1547 تم توسيع القصر وتعديله والتغيير فيه، حتى أصبح مكانًا مكتظًا بالممرات والسلالم الخشبية.لم تطرأ تغييرات كبيرة على غرفة كنيسة القديس ستيفن إلا عام 1692 عندما عُين السيد كريستوفر رن -المسئول عن أعمال الملك آنذاك- لإجراء تعديلات هيكلية. فقد قام بتخفيض مستوى السقف، وأزال الزجاج المعشق، وشيد طابِقًا جديدا، وغطى المباني المشيدة على طراز العمارة القوطية بالألواح الخشبية. كما أنه أضاف بعض المعارض ليُمكن العامة من متابعة متابعة الإجراءات. وصف أحد الزوار نتائج التغييرات التي أحدثها كريستوفر رن على أنها "مظلمة وكئيبة وسيئة التهوية وصغيرة للغاية ... حتى أنه عندما أقيمت مناظرة ... كانت حالة أعضاء البرلمان يرثى لها".. عندما تذكر رئيس وزراء المملكة المتحدة وليم غلادستون لحظة وصلولة كعضو برلمان جديد عام 1832، سرد قائلًا "ما يمكنني أن أطلق عليه راحة عينية كان ... ضحلا للغاية ... لا أظن أن المبنى كان يوفر مكانًا لغسل اليدين حتى على أقل تقدير".. إمكانيات المكان كانت ضحلًا جدا، لدرجة أن أثناء المناظرات التي عقدت عامي 1831 و 1834 طالب الراديكالي جوزيف هيوم عضو البرلمان إيجاد مكان إقامة آخر للمجلس، وتساءل عضو البرلمان ويليام كوبت قائلًا "لماذا يتم إقحامنا في مثل هذا المكان الصغير الذي يستحيل فيه أن تكون النقاشات هادئة ومنظمة ... حتى في هذا الظرف الحالي ... لماذا يُقحم 658 شخصًا من بيننا في مكان صغير كهذا المكان الذي لا يتيح مُتسعًا للحركة سوى البقعة التي يقف عليها الواحد منا؟".بحلول عام 1834 تم تطوير مجمع القصر، في البداية أحدث جون فاردي بعض التطويرات في منتصف القرن الثامن عشر، وفي مطلع القرن التاسع عشر أضاف كلُ من جيمس وايت والسيد جون سواني تطويرات على المبنى. أضاف فاردي المبنى الحجري، الذي قد بناه على طراز هندسة بالاديو، إلى الجزء الغربي من قاعة وستمنستر.. قام وايت بتوسيع مكان مجلس العموم، وقام بنقل مكان مجلس اللوردات إلى محكمة الالتماسات، كما أنه قام بإعادة بناء مقر رئيس المجلس.. تولى سواني مسئولية مجمع القصر بعد وفاة وايت سنة 1813، فقد قام بإعادة بناء قاعة وستمنستر وتشييد المحاكم القانونية على طراز العمارة الكلاسيكية الحديثة. كما أضاف سواني أيضًا مدخلًا ملكيًا جديدًا، ودرجًا، ومعرضًا، وكذلك قام بإنشاء قاعات اللجان والمكتبات.إن المخاطر المحتملة لهذا البناء كانت واضحًا للبعض، إذ أنه لم يكن متوفرًا بالمكان أي وسائل لمنع الحريق أو حوائط تفصل بين المباني للحد من انتشار الحريق إذا اندلع. وفي أواخر القرن الثامن عشر توقع مجموعة من أعضاء البرلمان احتمالية حدوث كارثة إذا نشب حريق بالقصر. وعقب هذا الأمر، وقع أربعة عشر مهندسًا معماريًا على تقرير 1789 محذرين من احتمالية نشوب حريق بالقصر. كان سواني وروبرت آدم من بين الموقعين على التقرير. وفي عام 1828 حذر سواني مجددًا من تلك المخاطر عندما كتب "إن ضرورة توفير حماية ضد الحريق في هذا المكان بممراته الضيقة والمظلمة والغير صحية، وعدم توفير غرف كافية للإقامة بالمكان، تدعو كل هذه الأمور إلى المراجعة و التصليحات العاجلة"، ولكن تقرير سواني تم تجاهله مجددًا.