Stolle lyktes aldri å vinne single-turneringen i Wimbledon til tross for at han var i finalen tre år på rad. I 1963 tapte han til amerikanske Chuck McKinley og i 1964 og 1965 ble det finaletapt mot Roy Emerson. Skjebnen å tape tre singlefinaler på rad i Wimbledon deler han med den tyske baronen Gottfried von Cramm og den britiske tennisspilleren Herbert Lawford.