Scaliger nació en Agen, hijo del erudito italiano Julius Caesar Scaliger (presunto descendiente de la familia "La Escala") y Andiette de Lobejac Roques.