Hij trouwde in 1418 met Jacoba van Beieren, zijn nicht in de vierde graad. Hiermee werd hij in één klap naast hertog van Brabant en Limburg ook graaf van Holland, Zeeland en Henegouwen. Aanvankelijk verliep dit huwelijk goed, maar in 1420, na een reeks incidenten, raakten zij in onmin. Een van de redenen was dat hij haar belangen als gravin van Holland en Zeeland onvoldoende verdedigde tegen de bemoeienissen van haar oom Jan van Beieren. Aanvankelijk steunde hij haar en haar partij, de Hoeken, tegen de inmenging van Jan van Beieren, onder andere bij het beleg van Dordrecht, dat teleurstellend verliep. Zijn vertrouwelingen behoorden echter tot het Kabeljauwse kamp, en onder hun invloed stelde hij Jan van Beieren in 1420 als ruwaard van Holland en Zeeland aan. Dit zou uiteindelijk leiden tot de breuk tussen hem en Jacoba van Beieren. Na de dood van Jan van Beieren vielen de graafschappen weer aan Jan van Brabant toe. Onder diens druk stelde hij in 1425 echter Filips de Goede als ruwaard en erfgenaam aan. Zo zouden de graafschappen aan de hertog van Bourgondië toevallen, mocht Jan kinderloos sterven.