La palazzina venne costruita nel XVI secolo dalla famiglia Brivio sui resti di un precedente castello costruito dai Torriani e andato distrutto durante la cosiddetta «battaglia dei giganti» del 1515.