吉尔罗伊位于旧金山湾区东南部，圣荷西市中心东南方大约55公里处，摩根山丘市东南方大约16公里处。往西距离太平洋海岸大约31公里，西南部是圣塔克鲁兹市。市区坐落在圣克拉拉山谷南部，海拔大约61米。市区面积42平方千米，水域面积极小（0.06%）。该市位于地震带附近，是地震多发区。
气候.该市气候受到太平洋的影响，属于地中海气候。全年气温区间在0.9 °C (33.6 °F)至32.3 °C (90.2 °F)之间。全年降水量约为480毫米。夏季气候极为干燥，冬天雨量较多，但极少有降雪