卡扎菲出生於義屬利比亞苏尔特南部費贊沙漠地區贝都因人格達費部落（因此也是格達費的姓氏）的一個羊皮帳篷里，該部落總人口僅有五萬到六萬人，在利比亞算是較小的部族。部族的起源，是阿拉伯帝國時代的蘇丹在動兵入侵北非後，軍隊中的葉門傭兵與當地柏柏爾人的混血後代。格達費的祖父在1911年意大利王國入侵鄂圖曼利比亞時被當時的意大利軍人殺害，而他的父親是普通的牧羊人，為當地財主放牧以維持生計，曾在義屬利比亞時期加入反抗意大利王國殖民利比亞的游擊隊。卡扎菲是其家中最小的孩子，也是唯一的男孩，他有三個姐姐，一家過著遊牧民族的質樸生活。