Merckx ble født i Meensel-Kiezegem i Belgia, og vokste opp i Woluwe-Saint-Pierre. Foreldrene hans drev en dagligvarebutikk. Han drev flere idretter, men fant sin sanne lidenskap i sykling. Merckx deltok i sin første konkurranse i 1961. Hans første seier kom på Petit-Enghien i oktober samme år.