Morse studerte på Yale-universitetet. Selv om han ikke var toppstudent, var han flink til å tegne. Både lærernes og foreldrenes oppmuntring førte til at Morse fikk suksess med å male miniatyrportretter på elfenben. Morse gjorde ferdig diplomoppgaven på Yale i 1810.