「I hardly think so」とは、「I don't really think so（私はそうは思わない）」または「I doubt it（そうは思わない、疑わしい）」という意味です。ここの「hardly」は、友人の主張を疑う/拒絶するということを示すために使用されています。否定的な意味を持つと解釈できます。