Pravděpodobně někdy po tomto datu se panství i s hradem dostalo do držení Šternberků, a to zřejmě v souvislosti s jejich dalšími aktivitami v tomto regionu. Přímá držba Šternberky je doložena nicméně až v roce 1363. Šternberkové pak drží hrad až do husitských válek. V bitvě pod Vyšehradem padl na Zikmundově straně majitel Veselského panství Jaroslav ze Šternberka. Hrad někdy poté získal přímo Zikmund Lucemburský, který odtud velel obléhání sousedního hradu v Uherském Ostrohu v roce 1422. V roce 1428 Zikmund hrad s panstvím přepustil známému dobrodruhovi, ruskému knížeti Fedorovi z Ostrogu. Ten patrně již v roce 1435 hrad přepustil dále další válečné osobnosti Blažkovi z Borotína. V roce 1441 se hrad opět dostává do rukou Šternberků. Ti Veselí nicméně obratem v roce 1442 prodali pánům z Vojslavic.