Jimmy Buffett er sønn av James Delaney Buffett jr. og kona Mary Loraine (kalt «Peets»). Han ble født den 25. desember i 1946 ved Jackson County Memorial Hospital, nær Pascagoula i staten Mississippi. En stund senere flyttet familien til Mobile i Alabama, der faren fikk jobb ved Alabama Dry Docks and Shipyard. Bestefaren var kaptein ombord på en båt, så tilknytningen til sjøen har alltid vært betydningsfull for Jimmy Buffett. Dette kommer også sterkt til uttrykk i Buffetts låter, for eksempel «Son of a Son of a Sailor» og «The Captain and the Kid».