Toko Merah dibangun pada tahun 1730 oleh Gustaaf Willem baron van Imhoff di atas tanah seluas 2.471 meter persegi. Rumah tersebut dibangun sedemikian rupa, sehingga besar, megah dan nyaman. Nama "Toko Merah" berdasarkan salah satu fungsinya yakni sebagai sebuah toko milik warga Tionghoa, Oey Liauw Kong sejak pertengahan abad ke-19 untuk jangka waktu yang cukup lama. Nama tersebut juga didasarkan pada warna tembok depan bangunan yang bercat merah hati langsung pada permukaan batu bata yang tidak diplester. Warna merah hati juga tampak pada interior dari bangunan tersebut yang sebagian besar berwarna merah dengan ukiran-ukirannya yang juga berwama merah. Namun ada juga yang mengatakan bahwa nama "Toko Merah" itu diambil Setelah peristiwa Geger Pacinan yang pada saat itu banyak mayat orang Tionghoa bertebaran di Kali Besar sehingga permukaan air menjadi warna merah. Di samping itu dalam akta tanah No. 957, No. 958 tanggal 13 Juli 1920 disebutkan bahwa persil-persil tersebut milik NV Bouwmaatschapij "Toko Merah".