Charlotte Amalie ligger på den sørlige kysten av øya St. Thomas, og strekker seg om lag en kilometer rundt Saint Thomas-havna, fra distriktet Havensight, hvor cruiseskipa legger til, i øst, til nabolaga Frenchtown og Sub Base i vest. Det danske Fort Christian og det åpne området rundt Emancipation Garden og Vendor's Market utgjør gamlebyens sentrum. Mange av byens historiske bygninger ligger i bakkene på Government Hill rett nord for Emancipation Garden. Dette er «Kongens Quarter». I vest, i området mellom Waterfront Dr og Dronningens Gade, er det en rekke alleer, hver av dem omkransa av varehus fra kolonitida som har blitt gjort om til butikker og kjøpesentere. Saint Thomas-havna skjærer dypt inn i øya, og foran den ligger øyene Water Island og Hassel Island. Det er flere utsiktspunkter over bukta; det høyeste ligger 460 meter over havet.