Høytorp fort er oppført på toppen av en markert åsrygg rett øst for nåværende Mysen sentrum. Høyeste punkt er på 227 moh. Fra toppunktet faller terrenget bratt mot øst og vest, på østsiden nesten hundre meter ned, på vestsiden går en dalgang sørover før terrenget igjen stiger til det man i dag kaller Vestre høyde. Derfra faller det bratt nedover mot Mysen sentrum. Toppen av åsen er synlig lange veier i det relativt flate terrenget. Fra gammelt av har det vært varde her. På et kart fra 1797 er den kalt «Skoftefields Varde». Senere er åsen referert til som «Høytorpåsen», etter bruket Høytorp under Opsal på vestsiden, nå i tettbebyggelsen i Mysen.