Soos elke dorp het Heidelberg ook sy tragiese gebeurtenisse wat telkens weer in droewige herinnering geroep word.
Op die aand van 16 Januarie 1899 is die gemeenskap diep geskok deur die verskriklike nuus dat mev. Johanna M. Hay (geb. Swart), weduwee van die eertydse dorpskoolmeester, met 'n hamer aangeval en wreed vermoor is. Die twee seuns wat in die huis was, het onder verdenking gestaan, maar later het die jongste, Gilbert Letterstedt (Baby) Hay, 'n jongman van 23 jaar, rondborstig erken dat hy die skuldige was, dat hy algeheel onder die mag van Satan gehandel het en die snode daad meermale vantevore wou pleeg om sy deel van die erf-porsie van sy moeder gouer in hande te kry. Die saak het op 4 April 1899 voor Regter Buchanan op Riversdal gedien, die jurie het Hay skuldig bevind en in die vroeër oggend van Maandag, 26 Junie is hy in die gevangenis op Riversdal tereggestel en by die St. Matthews-kerk begrawe.
In die namiddag van 13 September 1901 het Heidelberg die toneel van 'n skermutseling geword tussen 'n Boere-kommando onder Kommandant Jan Lombard Theron (1870-1902) en die Britse troepe in die dorp. Van omtrent 4-uur tot 6.30 het die skote voortdurend geklap en toe het die Boere oor Ertjiesvlei se berg weggetrek om in die rigting van Calvinia te verdwyn waar hul leier aan koors beswyk het. Die kommandotjie het uit die rigting van Brandwacht gekom en ál onder die Langeberge langs gehou, totdat hulle na Droëvlakte anderkant Riversdal weggeswenk het waar hulle met Majoor Kavanagh in 'n skerp geveg gewikkel geraak het. Die getal Boere word op sestig of negentig gestel. Hulle het van die drie koppe om die dorp begin skiet op 'n afstand van sowat 1,500 tot 2,000 treë en hul oogmerk was die wagte op die brug. Al skuilende kom hulle tot op omtrent 800 treë en hou aan met skiet, totdat twee groepies Boere openlik op 'n galop uit die Kanaal en reg met Fouriestraat langs die dorp injaag, nieteenstaande die aanhoudende vuur uit die onklare skanse op die stoep van die Masonic en die winkel op die hoek waar 'n garnisoen van sowat 28 man van die Vierde West Yorkshire Regiment wat kort vantevore onder Majoor Sir William Mahon in die dorp aangekom het, die aanval afgewag het. Ook Kolonel Bourke, Bevelvoerende Offisier van die suidelike gedeelte van die Kolonie, was sedert die vorige dag in Heidelberg. Die troepe was nog besig om haastiglik skanse om die N.G. Kerk en by die hotel te maak.
Die flinke vuur het die onverskrokke Boere laat omdraai en langs die lanings en voetpaaie is hulle terug sonder om egter op te hou met skiet. Uit Dr. Biggs se stal in sy agter-plaas oorkant die kerk is 'n paar perde geneem en dit was moontlik in hierdie omgewing dat die 21-jarige Pieter Jacobus Bellingan, seun van die destydse Lid van die Hoërhuis vir die Suidoostelike Distrikte, die Edele P. S. Bellingan, dodelik in die maag gewond is. Hy was 'n jong boer van Oorlogspoort in Aberdeen. Uit die Kleurlinghuis waar hy agtergelaat is, het Tant Annie en Oom Piet Lourens hom die volgende oggend laat haal en in die stoepkamer van hul rietdakhuis wat vandag nog só aan die hoofstraat staan, is hy op 15 September oorlede. Die begrafnis is deur Ds. Van Wyk gehou, maar later is die liggaam deur die familie gehaal en op sy vader se plaas in die Klein-Winterhoekberge herbegrawe. Deur hierdie geveggie het Heidelberg in alle waarskynlikheid die verste suidelike dorp geword waarin daar tydens die Anglo-Boere-Oorlog geveg is.
In 1903 het die maatskappy-spoorlyn van die New Cape Central Railways tussen Worcester en Mosselbaai, Riversdal bereik uit Swellendam waar dit in 1899 aangeland het. 24 Mei, die groot vakansiedag van die jaar, het in 1903 op 'n Sondag geval en 'n groot aantal leerlinge van die Victoria Grove Meisieskool in Riversdal en andere het reikhalsend na die Maandag uitgesien wat hulle met 'n uitstappie na Heidelberg sou deurbring en wat vir baie van hulle ook hul eerste treinrit sou beteken. Propvol van vakansiegangers, het die trein teen 4.30 nm. uit Heidelberg gestoom. Dit was twee passasiers-waens, 'n trok met meel belaai en 'n salon. Toe hulle by Krombeksrivier om 'n kort draai en deur 'n uitgrawing gaan, val die trok om en skeur die spoor stukkend, met die gevolg dat die salon ook teen die wal omkantel, gevolg deur die lokomotief en een van die passasierswaens. Ellen Crafford, 'n tienjarige dogter wat uit Ladismith in Riversdal op skool was, is gedood saam met Kosie Swart ('n jongman van Heidelberg) en ses Kleurlinge, terwyl verskeie ander ernstig beseer is. Die drywer, William Pannick, is gevange geneem en verhoor, maar vrygespreek.
Digby hierdie ongelukstoneel het daar op 18 Desember 1927 weer 'n trein omgeval en die stoker, 'n jongman Le Roux, is gedood. Vir baie jare reeds is daar ook uit Heidelberg vertoë tot die staat gerig om die maatskappylyn met sy hoë tariewe oor te neem, maar dit het eers in 1926 onder wyle Minister Charlie Malan werklikheid geword en nadat die Gouritsbrug in Augustus 1931 voltooi is, kon groot lokomotiewe die hele lyn gebruik.