Каса-Росада була збудована на місці Фортеці Буенос-Айреса, де традиційно знаходилися резиденції губернаторів, віце-королів, а після Травневої революції — правителів незалежної Аргентини. 1820 року Бернардіно Рівадавія наказав перебудувати фортецю, а 1850 року вона була знесена. На її місці було збудовано Нову Митницю за проектом англійського архітектора Едварда Тейлора. Від старої будівлі залишилися лише арка і одне з віце-королівських приміщень, яке було перероблене під будинок уряду.