Hovedbygningen på Losby er trolig fra 1850-årene, men har senere blitt påbygd ved flere anledninger. Hovedbyggets grunnmur var bygget av teglstein fra det lokale teglverket. I Lorentz Meyer Boecks tid på godset ble det utført en rekke utbedringer av bygget ved blant annet å fjerne den opprinnelige sveitserverandaen i bytte med en veranda med søyler. Sidefløyen ble gjort høyere og det ble revet vegger for å bygge ut hovedtrappen. Senere fikk godset et nytt tilbygg i øst, et nytt selskapsrom i form av et bibliotek som ble ferdigstilt i 1910–11. Byggets grunnareal er på ca. 600 kvadratmeter, og totalt bruksareal på rundt 1000 kvadratmeter, og det inneholdt 34 rom. I første etasje fantes tre stuer (ballsalen, damesalongen og havestuen), en peisestue (herresalongen), en hall der hovedtrappen var lokalisert, ett kjøkken med kjøkkengang, tre private rom og toalett. Annen etasje var knyttet sammen med første via hovedtrappen, og også i annen etasje var det en hall i tilknytning til denne. I denne etasjen var det to stuer, fem rom i den østlige fløyen, to bad, fire rom i den vestlige fløyen, et anretningsrom og tre mindre værelser. I tredje etasje fantes to rom i østfløyen og to rom i vestfløyen.