Ludwik był synem Jacques’a de Clermont d’Amboise, pana na Bussy, et de Catherine de Beauvau. Podczas nocy św. Bartłomieja (1572) zabił swego kuzyna, hugenotę, Antoine’a de Clermont, markiza de Reynel. Początkowo należał do mignonów Henryka Walezego. Towarzyszył przyszłemu królowi Polski w podróży koronacyjnej do Krakowa. Pod Frankfurtem przeżył niebezpieczną przygodę. Próbował zgwałcić niemiecką wieśniaczkę. Na jej krzyki zbiegła się cała wieś i Bussy cudem uniknął śmierci z rąk wzburzonego tłumu. Został jednak dotkliwie pobity i aresztowany. Jedynie interwencji Ludwika Nassauskiego zawdzięczał odzyskanie wolności. Po tej przygodzie powrócił do Francji i przeszedł na służbę młodszego brata Henryka, Franciszka d’Alençon.