Byen ligger i Johor Bahru-distriktet ved Johorstredet på sørspissen av Malayahalvøya, rett nord for Singapore. Den ble grunnlagt i 1855 og fikk navn etter Ibrahim, Johors hersker. I 1866 ble den omdøpt til Johor Bahru, som betyr Nye Johor.