Hovedbygningen er antagelig oppført i første halvdel av 1700-tallet, men fikk sin nåværende utforming omkring 1800. Den lave 1 1/2-etasjes hvitkalkede murbygning har tre fløyer som omslutter et gårdstun. Den ligger på toppen av den lille fjellryggen som har gitt gården navn (kjøl-berget), og er et ualminnelig vakkert og harmonisk byggverk, særdeles vel innpasset i terrenget. Den første Forsberg på Kjølberg gjennomførte en omfattende restaurering så vel utvendig som innvendig. Blant annet fikk han tilbakeført to to-meter høye stenfigurer fra 1600-tallet som etter tradisjonen tidligere hadde stått på herregården. De flankerer hallens store peis. Store veggmalerier i hjørnestuen er utført av kunstneren Karl Johan Løkke (1870–1943).