（儒略历1751年3月5日），小詹姆斯·麦迪逊在靠近弗吉尼亚康维港的贝尔格鲁夫种植园诞生，是老詹姆斯·麦迪逊和内丽·康维·麦迪逊十二个孩子中的长子。他7位弟弟和4位妹妹中只有6人成年。父亲生于烟草种植园愉悦山庄，成年后继承产业。日后，他变得更加富有，购买奴隶，占地，成为皮德蒙特大地主之首。母亲生于康维港，是大烟草商、大种植园主的女儿。1760年代初，麦迪逊家人搬入新居，名为蒙彼利埃。苏格兰先生唐纳德·罗伯逊在南方种植园数个家庭做家教，麦迪逊11-16岁时师从与他。麦迪逊学到了数学、地理、现代和经典语文、