最初にギャルゲーと呼称されたゲームは、1986年発売の『夢幻戦士ヴァリス』（日本テレネット）と言われている。ヴァリスと同時期には『アテナ』（SNK）や『マドゥーラの翼』（サン電子）を始め主人公のキャラクターを子供向けのゲームとしては露出度の高い衣装（いわゆるビキニアーマーなど）を纏っている少女に設定したアクションゲームが見られるが、これらの作品は主人公を男性やロボットなどに置き換えても基本的なゲーム性が変化しないと思われるものがほとんどで、難度を含めたゲームバランスの悪いものも多く、1980年代後半においては「ギャルゲー」は「少女キャラクターの可愛らしさに寄りかかった、クソゲーの一種」と認識されるケースが多かった。家庭用ゲーム機でもPCエンジンはCD-ROMを先駆けて採用した結果容量の制約から解放されCD-DAも使えるようになった結果、有名なアニメーターや声優を使ったキャラゲーが多数出るようになったが。しかし中にはオリジナルのキャラゲー、トップレスなどのヌード・セミヌードを取り入れたゲーム（Huカードソフトも含む）もあり、これらの一部が後にギャルゲーに分類されることになる。「ギャルゲー」と言う単語のゲーム雑誌で確認されている最古の使用例は『ファミコン通信』1992年3月27日号の特集記事である。もっとも、この特集で取り上げられているのは『ヴァリス』を始め横スクロールのアクションゲームがメインであった。この特集とほぼ同時期にパソコンゲームでは『プリンセスメーカー』（ガイナックス）や『卒業 〜Graduation〜』（ジャパンホームビデオ）に代表される育成シミュレーションが登場している。1993年にはインタラクティブコミック作品『ゆみみみっくす』（ゲームアーツ）も登場した。1994年には、男性向け一般恋愛シミュレーションゲームの先駆けとなる『ときめきメモリアル』（コナミ）が発売される。この作品はは大きな話題を呼び、このジャンルが一定の地位を確立するきっかけとなった。これに伴い、魅力的な女性が登場するゲームは恋愛シミュレーションゲームが発売されるようになり、ギャルゲーという用語はこのジャンルのゲームを指すものとして用いられるようになった。1994年末には第5世代機が発売されており、ゲームソフト市場に新規参入するメーカーが多数現れた。ギャルゲーの数が特に増えたのもこの時期で、多数のギャルゲーが発売されている。パイオニアLDCの「NOeL」シリーズやNECインターチャネルの『センチメンタルグラフティ』などが代表とされる。『宝魔ハンターライム』（有限会社サイレンス））の移植などもある。2012年時点では、アドベンチャーゲームやシミュレーションゲームのようなものが多いが、その他のジャンルでも「ギャルゲー」と呼ばれる作品は存在する。また「FFX-2」（スクウェア・エニックス）や「蒼い海のトリスティア」（工画堂スタジオ）のように露出度の高いキャラクターが目立つ作品も、ゲームの内容とは関係無く「ギャルゲー」と認識されることは多い。
コンピュータゲームの技術の発展に伴いゲーム内に登場するキャラクターの表現力も上がっていった。その中で、魅力的な女性が登場する（もしくはプレイヤーキャラとして操作できる）を売りにしたゲームが登場するようになった。これがギャルゲーである。類似の概念に美少女ゲーム（ギャルゲーとアダルトゲームをまとめた概念）、萌えゲームがあるが、男性向け恋愛ゲームという意味でも使用される。なお、ギャルゲーの上位区分としてはキャラゲーが挙げられる。こちらは一般に流通している漫画やアニメといった作品のキャラクターを使用している。しかし、元々俗称による区分である為この境界は曖昧である。
1934年（昭和9年）11月17日、井上靖と競った文学青年の井上修吉を父とし、井上マスを母として山形県東置賜郡小松町中小松（現・川西町）に生まれる。修吉は実家が薬屋だったため薬剤師を目指す一方、農地解放運動に関わり、地方劇団「小松座」を主宰したほか、1935年には小松滋の筆名で書いた小説『H丸傳奇』が『サンデー毎日』第17回大衆文芸新人賞に入賞している。プロレタリア文学雑誌『戦旗』への投稿や同誌の配布の手伝いもしていた。マスが病院の下働きをしていたときに薬剤師助手の修吉と知り合い駆け落ちしたが、井上の籍には入らず、ひさしたち3兄弟は戸籍上は非嫡出子（婚外子）として生まれた。廈（ひさし）という名前は、『H丸傳奇』の舞台となった中国の厦門（アモイ）に由来する。5歳のとき父が脊髄カリエスで死亡。青年共産同盟に加入していた父親は3回検挙歴があり、そのときに受けた拷問の影響で脊髄を悪くしたとも語っていた。母親は夫に替わって薬屋を切り盛りする傍ら、闇米の販売や美容院経営などで3人の子を育てていたが、旅回りの芸人と同居を始める。その義父から虐待を受け、ストレスから円形脱毛症と吃音症になる。その後、義父に有り金を持ち逃げされた。山形では父が残した蔵書を乱読して過ごし、「神童」と言われていた。母は一関市で飯場を営んでいた義父の居場所を突き止め、会社から義父を追い出して自ら社長の座につき土建業「井上組」を立ち上げたが、経営はうまくいかず会社は程なくして解散。生活苦のため母はカトリック修道会ラ・サール会の孤児院（現在の児童養護施設）「光が丘天使園」（宮城県仙台市）にひさしを預ける。そこではカナダ人修道士たちが児童に対して献身的な態度で接していた。カナダから修道服の修理用に送られた羅紗もまず子供たちの通学服に回し、自分はぼろぼろの修道服に甘んじ毎日額に汗して子供たちに食べさせる野菜などを栽培していた。このような修道士たちの生きかたは入所児童を感動させ、洗礼を受ける児童が続出した。ひさしもその一人となった（洗礼名：マリア・ヨゼフ。上京後、棄教している）。一方、井上の孤児院時代の友人によると、この孤児院は理不尽な体罰といじめが横行する弱肉強食の環境であり、当時の井上は弟と一緒だったが「小さな弟がいじめられて泣いてもかばえないような奴でした」「口がうまくてそれで渡り歩いたようなところがあった」、という。井上在園当時に園長を務めた石井恭一修道士も「ひさしさんはおとなしい子でしたよ。弟さんは小さくて、よくおねしょをしたので、皆にからかわれていました。彼はかばうことはせずに、はやし立てる仲間の方に加わっていました」と証言している。この当時のことは自著『四十一番の少年』にも描かれている。