質問: -kx2 + a(x2 - x1) と立てたのですが そこからうまく収束できませんでした。
回答: 主さんの式でa(x2 - x1)の前の符号が逆ですね。 つまり真ん中のばねの伸びx2 - x1は左の重りに右向きに力を及ぼすし 右のおもりに左向きに力を及ぼす。なので 左の質点 m d^2x1/dt^2 = -kx1 +a(x2 - x1) 右の質点 m d^2x2/dt^2 = -kx2 -a(x2 - x1) です。 これなら辺々加えたり引いたりして q1=x1+x2、q2=x1-x2 とおけば m d^2q1/dt^2 = -k q1、 m d^2q2/dt^2 =-(k+2a)q2 がでてくるので 選択肢の2.が答えになるのがおわかりですね。