Goldthwaite ligger i den vestlige del av det texanske høydelandet og rundt 474 meter over havet. Byen ligger ved United States Highways 84 og 183 ved Texas State Highway 16. Byen er også stasjonsby for jernbaneselskapet Burlington Santa Fe.