विश्रामबाग वाड़ा 1807 ईस्वी में 200,000 रुपये की कीमत पर बनाया गया था। निर्माण को पूरा करने में छह साल लग गए थे। बाजीराव द्वितीय ने इस निवास को पेशवा के गढ़ शनिवार वाड़ा के जैसे पसंद किया था। बाजीराव द्वितीय तृतीय आंग्ल-मराठा युद्ध में उनकी हार तक ग्यारह साल तक यहाँ रहे थे। युद्ध के बाद अंग्रेजों ने कानपुर के पास बिथुर को पेंशन के साथ देश निष्काशन कर दिया था। उनकी पत्नी वाराणसिबाई बिथुर में उससे जुड़ने से पहले कुछ समय तक यहां रही थी लेकिन जल्द ही अंग्रेजों ने उन्हें पुणे ले गये थे।