Тем не менее кабинет постоянно подвергался критике радикальных реформистов, выступавших за сокращение правительственного аппарата и уменьшения расходов. Закон о муниципальных образованиях, оставлявший назначение шерифов и казначеев в руках провинциальных властей и предусматривавший имущественный ценз для избирателей, это крыло атаковало как недемократичный. С другой стороны, правительственный законопроект о компенсациях пострадавшим от событий 1837 года встретил яростное сопротивление со стороны радикальных тори. Эта часть общества полагала, что правительство пошло на поводу у политиков из Нижней Канады, где в 1837 году имел место полномасштабный антибританский мятеж. Тори в свою очередь устроили массовые беспорядки в Монреале, пиком которых стал поджог здания парламента. Среди недовольных политикой правительства радикалов (как справа, так и слева) усилилась агитация за присоединение к США. Всё это заставило Болдуина ещё сильнее колебаться при принятии решений, что отрицательно сказалось на его способности заниматься государственными делами. Приступы депрессии вынуждали его пропускать важные заседания кабинета, в том числе первые шесть недель в 1848 году, а затем с января по март 1850 года. Положение осложнялось тем, что его взгляды, в целом близкие к позиции прослойки крупных землевладельцев, оказались недостаточно либеральными для многих соратников по партии; его стали рассматривать как препятствие на пути капиталистического прогресса.