Karl Roux war der Sohn des Malers Jakob Wilhelm Roux und dessen zweiter Ehefrau Charlotte Mariana Wippermann. Seinen ersten künstlerischen Unterricht bekam Roux durch seinen Vater. Mit 18 Jahren wurde Roux 1844 Schüler an der Kunstakademie Düsseldorf unter Leitung von Carl Wilhelm Hübner, dessen Schüler er 1847 wurde. Ende Mai 1848 ging Roux zusammen mit seinem Vetter und Studienfreund Anselm Feuerbach nach Freiburg. Aus Angst vor einer Einberufung zum Militär bedingt durch den Ausbruch der badischen Revolution im Frühjahr 1848 reisten sie weiter nach München, wo er an der dortigen Akademie der Bildenden Künste unter anderem den Maler Carl Theodor von Piloty und dessen Bruder Ferdinand kennenlernte. Dort teilten sich Roux und Feuerbach ein Atelier in der Löwenstraße (der späteren Schellingstraße) in Schwabing und arbeiteten mit dem Maler Carl Rahl. Von München aus unternahm Roux eine Studienreise durch die Niederlande, Belgien und Frankreich. Im Oktober 1850 in Antwerpen schrieben er sich an der dortigen Akademie der schönen Künste ein und studierte unter Gustave Wappers. Ab 1851 folgten Studienjahre in Paris. Ab 1855 war Roux schließlich in Karlsruhe sesshaft geworden und lehrte bis 1867 an der dortigen Großherzoglich Badischen Kunstschule unter deren Direktor Johann Wilhelm Schirmer. Dort heiratete Roux Alice, eine Tochter des Münzrats Ludwig Kachel. Seine Ehefrau starb bereits 1865 und drei Jahre später ging Roux wieder nach München. Von 1868 bis 1881 lehrte er an der Akademie der Bildenden Künste, ehe er 1882 zum Direktor der Großherzoglichen Gemäldegalerie in Mannheim ernannt wurde. Vier Wochen vor seinem 68. Geburtstag starb Karl Roux am 23. Juli 1894 in Mannheim.