Considérant en fait et en droit :
1.
Par décision du 2 avril 2020, la 2 e Chambre civile de la Cour suprême du canton de Berne a rejeté, dans la mesure de sa recevabilité, le recours formé le 23 mars 2020 par A._ pour retard injustifié dans la procédure CIV 20 696 du Tribunal régional Jura bernois-Seeland.
2.
Par acte du 4 avril 2020, A._ exerce un recours contre cette décision dont il requiert l'annulation. Il sollicite également d'être mis au bénéfice de l'assistance judiciaire.
Par courrier du 6 avril [recte: mai] 2020, le recourant a sollicité la Cour de céans de ne " traiter [sa] défense (recours) " que dans la mesure où ses requête d'assistance judiciaire et d'être reçu et écouté par le Tribunal fédéral afin d'éclaircir certains points seraient admises.
Par courrier du 12 mai, le recourant a été rendu attentif au fait qu'un recours conditionnel au Tribunal fédéral de même que le retrait conditionnel d'un recours n'était pas prévu par la LTF. Un délai lui a en conséquence été imparti pour se déterminer quant à un éventuel retrait de son recours du 4 avril 2020.
Par courrier du 13 mai 2020, le recourant a sollicité l' "annulation " de son recours.
3.
Il convient de prendre acte du retrait du recours et de rayer la cause 5A_312/2020 du rôle (<ref-law> par renvoi de l'<ref-law>; <ref-law>). A cet effet, le Président de la cour est compétent, en vertu de l'art. 32 al. 1 et 2 LTF.
En règle générale, il appartient à la partie qui retire son recours de supporter les frais de procédure (ordonnance 5A_166/2014 du 25 mars 2014 avec les références). Les frais judiciaires incombent ainsi au recourant (<ref-law>).
Néanmoins, les frais de procédure peuvent être réduits, voire remis, lorsque le recours est réglé par un désistement sans avoir causé un travail considérable au tribunal (<ref-law>). En l'espèce, le retrait est intervenu au début de l'instruction de la cause 5A_312/2020. Dans les circonstances d'espèce, il se justifie de renoncer à la perception de frais judiciaires (<ref-law>).


Par ces motifs, le Président ordonne :
1.
La cause 5A_312/2020 est rayée du rôle par suite de retrait du recours.
2.
Il n'est pas perçu de frais judiciaires.
3.
La présente ordonnance est communiquée au recourant, au Tribunal régional Jura bernois-Seeland et à la 2e Chambre civile de la Cour suprême du canton de Berne.
Lausanne, le 18 mai 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand