Pierwszy sukces w karierze na arenie międzynarodowej Casper von Folsach osiągnął w 2011 roku, kiedy wspólnie z Michaelem Mørkøvem, Rasmusem Quaade i Lasse Normanem Hansenem zdobył srebrny medal w drużynowym wyścigu na dochodzenie podczas torowych mistrzostw Europy w Apeldoorn. Na rozgrywanych rok później igrzyskach olimpijskich w Londynie w tej samej konkurencji Duńczycy z von Folsachem w składzie zajęli piąta pozycję. Kolejny medal zdobył podczas torowych mistrzostw świata w Mińsku w 2013 roku, gdzie reprezentacja Danii w składzie: Lasse Norman Hansen, Casper von Folsach, Mathias Møller Nielsen i Rasmus Quaade zdobyła brązowy medal w drużynowym wyścigu na dochodzenie. W 2014 roku razem z Quaade, Hansenem i Alexem Rasmussenem zdobył srebrny medal w tej samej konkurencji na mistrzostwach świata w Cali. Startuje także w wyścigach szosowych, jest między innymi czterokrotnym mistrzem kraju w kategorii juniorów. Na szosowych mistrzostwach świata w Kopenhadze w 2011 roku zajął szóste miejsce w indywidualnej jeździe na czas juniorów.