Für den Bau der Bahnstrecke von Annaberg nach Weipert wurde der seit 1844 nicht mehr genutzte Annaberger Floßgraben verfüllt und auf ihm Gleise verlegt. Kühberg erhielt an der im Jahr 1872 eröffneten Strecke erst am 15. Dezember 1896 einen eigenen Haltepunkt im Ortszentrum.Im Jahr 1884 wurde in Kühberg eine Freiwillige Feuerwehr gegründet, die durch Gemeindebeschluss im Jahr 1894 wieder aufgelöst wurde. Ab 1895 existierte in Kühberg einer von drei Löschzügen der Pflichtfeuerwehr von Bärenstein. Daneben wurde im Jahr 1911 die Freiwillige Feuerwehr Kühberg wiedergegründet. Nachdem die Bärensteiner Pflichtfeuerwehr im Jahr 1925 aufgelöst wurde, erfolgte im Jahr 1936 der Zusammenschluss der Freiwilligen Feuerwehren von Mittelbärenstein, Kühberg und Stahlberg zur Freiwilligen Feuerwehr Bärenstein. Bereits ein Jahr zuvor erhielt Kühberg ein neues Spritzenhaus. In den Jahren 1901/02 entstand die Straße von Königswalde nach Kühberg im Tal des Pöhlbachs.Mit der Eingliederung des Sudetenlands in das Deutsche Reich entfiel im Oktober 1938 die Staatsgrenze nach Weipert. In Auswirkung des Zweiten Weltkriegs wurde im Jahr 1945 der Fußgängerübergang über die „Böhmische Brücke“ zwischen Kühberg und dem Blechhammer in dem zu Weipert (nach 1945 in Vejprty umbenannt) gehörigen Ortsteil Grund geschlossen. Nach 1945 erfolgte der Abriss des Ortsteils Grund samt den Ruinen des 1945/46 abgebrannten Blechhammers auf tschechischer Seite.Durch die zweite Kreisreform in der DDR kam Kühberg als Teil der Gemeinde Bärenstein im Jahr 1952 zum Kreis Annaberg im Bezirk Chemnitz (1953 in Bezirk Karl-Marx-Stadt umbenannt), der ab 1990 als sächsischer Landkreis Annaberg fortgeführt wurde und 2008 im Erzgebirgskreis aufging. Nach der politischen Wende wurde der Straßen- und Schienen-Grenzübergang von Bärenstein ins benachbarte tschechische Vejprty wieder geöffnet. Der Grenzübergang im unteren Ortsteil von Kühberg blieb jedoch geschlossen. In der Gegenwart existiert lediglich ein grenzüberschreitender Fußweg über den Pöhlbach zur „Anton-Günther-Ruh“ in der verschwundenen Siedlung Grund. Der Haltepunkt Kühberg an der Bahnstrecke Vejprty–Annaberg-Buchholz unt Bf wurde aufgrund der geringen Frequentierung am 27. September 1998 aufgelassen. Der durch den Ort führende Streckenabschnitt wird seit dem 1. Mai 2016 nur noch als befristetes touristisches Angebot in den Sommermonaten befahren. Am 1. Dezember 2008 wurde Kühberg der Status als Gemeindeteil aberkannt.