Men så kommo svåra tider.