Selon la tradition familiale, Karl Andreae devait à l'origine devenir marchand. En 1833, il est donc envoyé à Cologne pour suivre les cours de la Höhere Bürgerschule. Cependant, il montre très tôt des attirances prononcées pour l'art. Après avoir été envoyé en prison à cause de quelques caricatures qu'il avait faites de professeurs, il fuit l'école. Ses parents cèdent alors à ses envies et l'envoie à l'académie des beaux-arts de Düsseldorf. Il y étudie de 1839 à 1844 sous la direction de Carl Ferdinand Sohn et de Wilhelm von Schadow. Après avoir terminé ses études, Karl Andreae séjourne à Rome de 1845 à 1848. Par l'intermédiaire de von Schadow, il entre en contact avec la colonie d'artistes nazaréens d'orientation romano-religieuse, en particulier avec Peter von Cornelius et Friedrich Overbeck. Il rencontre également Karl Lindemann-Frommel, de quatre ans son aîné, à Rome. Ce dernier lui inspire l'étude des paysages italiens. Après son retour d'Italie, Karl Andreae passe quelque temps à Hanovre au printemps 1848, où il rencontre Wilhelm et Jacob Grimm par l'intermédiaire de la famille von Arnswaldt. De Hanovre, il souhaite se rendre à Berlin pour travailler avec Peter von Cornelius. Cependant, en raison des événements politiques de 1848, ils décident tous deux de retourner à Rome. Après le siège et l'occupation de Rome par les français en , Karl Andreae retourne définitivement en Allemagne. De 1849 à 1856, il vit à Berlin, où il épouse en 1853 Maria Elvira Dilthey (1835-1907), originaire de Rheydt, avec laquelle il a dix enfants.