Benjamin Herman, 80 år, av Hook, förnekar Hampshire fyra sexuella övergrepp mot en flicka under 13 år i början av 1970-talet.
Blackfriars Crown Court hörde att han körde henne i sin VW husbil, förbi säkerheten in i slottets förgård.
Herman var hertigens hovmästare och hade ett kontor i palatset.
Han står inför tre fall av oanständigt överfall på en flicka under 13 år och ett fall av oanständighet med ett barn mellan januari 1972 och januari 1974.
Edmund Gritt, som inledde åtalet, berättade för juryn att Herman innehade värnpliktsposten mellan 1971 och 1974, förvaltade hertigens officiella dagbok och följde med honom vid officiella besök.
Missbruket påstås ha ägt rum i ett hus i sydvästra London som användes av militär personal, där Herman bodde vid den tidpunkten.
Gritt sade att flickan var "ensam och behövlig för vuxen uppmärksamhet men var ändå missnöjd med den sexuella uppmärksamhet han gav henne".
Han berättade för domstolen att hon under de 40 år som gått sedan dess hade berättat för vänner om vad som hade hänt, men först kontaktade myndigheterna efter avslöjanden om Jimmy Savile.
När kvinnan gav bevis, kom hon ihåg att hon kände sig "privilegierad" när hon drevs runt i palatsets förgård.
Hon berättade för juryn att Herman diskuterade sitt förhållande till Kungafamiljen.
"Han berättade för mig att han ofta hade ansvar för prins Edward och prins Andrew och han spelade fotboll med dem", sade hon.
Hon berättade för domstolen om fyra tillfällen då Herman påstod sig ha misshandlat henne i sitt hem och i ett garage i närheten.
Nerida Harford-Bell försvarade och sa: "Jag tänker föreslå att det du sa till juryn inte stämmer. Det kan mycket väl vara en fantasi som ni har byggt upp om Herman."
Kvinnan svarade: "Det är ingen fantasi alls."
Rättegången fortsätter.
En före detta personlig assistent till hertigen av Edinburgh anklagad för sexuellt utnyttjande av en ung flicka tog sitt offer på besök i Buckingham Palace, en domstol har hört.