Buys Ballot var sønn av en nederlandsk reformert prest, født i Kloetinge i Nederland. Han gikk på gymnaset på Zaltbommel og Hogeschool (nå universitet) i Utrecht. Etter å ha mottatt sin doktorgrad i 1844, ble han lektor i mineralogi og geologi ved Utrecht, la han til teoretisk kjemi i 1846. I 1847 ble han utnevnt til professor i matematikk og fra 1867 til hans avgang var han professor i fysikk.