Grillmeier ble kjent ved annet Vatikankonsil, der han var teologisk rådgiver til biskop Wilhelm Kempf av Limburg. Fra 1963 til 1965 var han også i konsilets egen teologiske kommisjon. Han hadde særlig innvirkning på utkastene til dokumentet , den dogmatiske konstitusjon om Kirken. Det var da han første gang møtte kardinal Wojtyła og samarbeidet med ham i utviklingen av andre forskjellige dokumenter som , og .