Reder og trelasthandler Johannes Grøgaard var huset opprinnelige byggherre. Han drev krambu i første etasje i hovedhuset. I 1884 ble eiendommen overtatt av skipsfører og reder Carl Knudsen, som gården senere har blitt oppkalt etter.