Bækkeskov var opprinnelig en av mange små herregårder i og omkring landsbyen Akselhoved, som ble samlet på slutten av 1500-tallet. Under eieren Bredo von Munthe af Morgenstierne og hans sønn Otto Christopher ble jorden øket og den trelengede ladegård fornyet ved om- og nybygninger. Morgenstierne solgte i 1795 gården til den engelske-danske handelsmann Charles August Selby (1755–1823), som lot oppføre en hovedbygning nyklassisistisk stil.