Le Gros Caillou est composé de quartzite triasique métamorphique, roche typique de la Haute-Maurienne et de la Haute Tarentaise, régions situées dans les Alpes à près de 200 km de Lyon, d'où le bloc a été déplacé par le glacier du Rhône pendant la Glaciation de Riss (environ -140000 ans).