質問: Ax^2+Bx+Cxy+Dy^2+Ey+F≧0について
回答: 3は双曲線を境界線にもつ領域です(A>0,B<0 なので)。 F>0 のとき 原点を含む方の領域 F<0 のとき 原点を含まない方の領域 その領域の x≧G,y≧0 の部分((i)と4)にあって 原点から最も近い点((ii)) を求めよ ということですね。 ↓の「2次曲線」で3の境界線を描くことができます。参考にしてください。