Faits : A. Par décision du 24 janvier 2019, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a rejeté la demande de prestations déposée en octobre 2015 par A._. B. Statuant le 4 mars 2020 sur le recours formé par A._ contre cette décision, le Tribunal cantonal du canton de Fribourg, Ie Cour des assurances sociales, l'a partiellement admis. Il a réformé la décision attaquée en ce sens que l'assuré a droit à un quart de rente d'invalidité dès le 1er avril 2016. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande la réforme, en ce sens qu'un droit à une demi-rente de l'assurance-invalidité lui est reconnu à compter du 1er avril 2016. L'office AI conclut au rejet du recours en se référant au jugement cantonal, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.