Byen ble grunnlagt i 1864 av fromme kalvinistiske . Den er oppkalt etter Betlehem Jesu fødeby. Elven som renner gjennom byen kalte de Jordan.