Jako nepřítel husitů neměl však Hanuš klidu: po neúspěšném husitském obléhání dalších Hanušových hradů Točník a Žebrák, přitáhli v květnu 1425 husité s 900 jezdci a 7 000 pěšáky k hradům Krašov a Libštejn a poplenili vsi v okolí. Ve stejném roce byl Hanuš jedním z velitelů vojska, které dobylo husity obsazený hrad Nižbor. Během boje padlo ze 120 obránců asi dvacet mužů a zbytek byl zajat. Roku 1430 oblehli husité znovu Libštejn a bratři z Kolowrat byli donuceni vyjednávat. S Prokopem Holým uzavřeli Kolowratové smír a přislíbili podporu straně podobojí. Zachránili tak hrad Libštejn, ale dostali se do nepřízně krále Zikmunda, který zrušil všechna předešlá darování. Bratři Hanuš a Bedřich však zástavu bez zaplacení zpět nevydali. Oba bratři se zúčastnili 14. srpna 1431 bitvy u Domažlic, Hanuš jako hejtman husitské jízdy.