Bakgrunnen for byggingen var at kong Christian IV på denne tiden oppholdt seg mye i området, spesielt på Flekkerøya. I den forbindelse var det viktig å ha lensherren Rosenkrantz i nærheten, og derfor fikk han beskjed av kongen om å flytte fra Nedenes og bygge en kongsgård i nærheten av Flekkerøya. Området hadde stor strategetisk betydning, spesielt med tanke på handel og nærheten til Danmark og dette ble også en viktig årsak til at kongen i 1641 grunnla byen Kristiansand.