Faits :
A.
A._ et B._ sont les parents de C._, né hors mariage en 2012. Ils ont l'autorité parentale conjointe sur leur fils, la garde étant attribuée à la mère.
Le 11 avril 2019, l'Autorité de protection de l'enfant et de l'adulte de Bienne (ci-après: l'APEA) a suspendu la procédure ouverte le 13 novembre 2017 concernant l'attribution de la garde et la prise en charge de l'enfant et a ordonné avec effet immédiat et pour une durée de huit mois une médiation entre les parents au sens de l'<ref-law>.
Par acte du 8 mai 2019, le père a recouru contre cette décision. Il a principalement conclu à l'instauration d'une garde alternée, celle-ci devant être accompagnée d'un certain nombre d'ordres et interdictions à l'égard de la mère, subsidiairement à l'élargissement de son droit de visite durant la procédure de médiation et jusqu'à nouvelle décision de l'APEA. Il a également requis la levée de l'effet suspensif de son propre recours pour la procédure de médiation et, à titre provisoire dans le cadre du recours, l'élargissement de son droit de visite.
Par décision du 15 mai 2019, le Tribunal de la protection de l'enfant et de l'adulte de la Cour suprême du canton de Berne (ci-après: le Tribunal de protection) a déclaré irrecevables les requêtes tendant à la levée de l'effet suspensif et au prononcé de mesures provisionnelles pour la procédure de recours, et rejeté le recours dans la mesure de sa recevabilité.
B.
Par acte du 7 juin 2019, le père exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à la réforme de la décision de l'APEA - confirmée par le jugement du Tribunal de protection - en ce sens qu'en sus de la médiation ordonnée, la garde de l'enfant est assumée de façon alternative par les deux parents, chacun par moitié, sauf entente différente, du lundi 8h30 au lundi suivant 8h30, y compris pour les périodes de vacances sauf lorsqu'un parent partira en vacances avec l'enfant, que le domicile administratif de l'enfant est celui de son père, que D._, actuelle compagne du père, est autorisée à récupérer l'enfant à l'école ou à tout autre endroit où il se trouvera et à le raccompagner à l'école ou au domicile de la mère, en lieu et place du père si celui-ci se trouve empêché pour quelque motif que ce soit, qu'ordre est donné à la mère de se conformer aux modalités de droit de garde précitées sous la menace " des peines prévues " à l'<ref-law>, qu'il est fait interdiction à la mère de quitter le territoire suisse et de s'installer à l'étranger avec l'enfant, sous la menace " des peines prévues " à l'<ref-law>, qu'il est ordonné à la mère de restituer immédiatement au père la carte d'identité suisse ainsi que l'attestation d'établissement de l'enfant, sous la menace " des peines prévues " à l'<ref-law>, que la mère est condamnée à lui verser une indemnité équitable à titre de dépens de première et deuxième instances. Subsidiairement, il conclut à ce que, durant la procédure de médiation et jusqu'à nouvelle décision de l'APEA, son droit de visite s'exerce provisoirement du mercredi à 16h au vendredi au début de l'école et un week-end sur deux du vendredi à 16h30 au lundi au début de l'école, le père se chargeant d'amener l'enfant à l'école les jeudis et vendredis matin ainsi qu'un lundi matin sur deux, durant la moitié des vacances scolaires, et alternativement à Noël/Nouvel An et Pâques/Pentecôte. Plus subsidiairement, il conclut à l'annulation de la décision attaquée et au renvoi de la cause à la juridiction précédente pour nouvelle décision dans le sens des considérants.
Des observations n'ont pas été requises.

Considérant en droit :
1.
1.1. La décision de suspension critiquée est incidente au sens de l'<ref-law> (<ref-ruling> consid. 1.2). La voie de recours ouverte contre une telle décision est déterminée par le litige principal (<ref-ruling> consid. 1.1); en l'occurrence, il s'agit d'une suspension ordonnée dans le cadre d'une procédure portant principalement sur la garde et les modalités de prise en charge de l'enfant, à savoir une cause civile (<ref-law>), de nature non pécuniaire.
1.2. En vertu de l'<ref-law> - l'hypothèse visée par la let. b étant exclue d'emblée (<ref-ruling> consid. 1.2.1) -, une décision incidente notifiée séparément est susceptible d'un recours en matière civile si elle peut causer un préjudice irréparable, à savoir un préjudice de nature juridique qu'une décision finale, même favorable à la partie recourante, ne ferait pas disparaître entièrement (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1.3). Il appartient à celle-ci d'exposer en quoi cette condition est satisfaite, à moins que sa réalisation ne soit évidente (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1.2 et la référence).
Selon la jurisprudence, l'exigence d'un préjudice irréparable n'est pas opposable à la partie recourante qui expose et rend vraisemblable que la suspension contestée entraînera une violation du principe de célérité, à savoir du droit de tout justiciable, garanti par l'art. 29 al. 1 Cst., à ce que sa cause soit jugée dans un délai raisonnable (ATF <ref-ruling> consid. 1.4; <ref-ruling> consid. 2.3 et les références).
En l'occurrence, le recourant invoque la violation du principe de célérité (cf. infra consid. 3.4). La question de savoir s'il rend celle-ci vraisemblable, la recevabilité du recours échappant ainsi à l'exigence d'un préjudice irréparable, peut toutefois demeurer indécise. En effet, la décision attaquée est quoi qu'il en soit susceptible de lui causer un préjudice irréparable dès lors que la garde reste attribuée à la mère durant la suspension et que, même s'il obtient finalement gain de cause au fond, aucune réparation ne sera possible pour la période écoulée (<ref-ruling> consid. 1 et les références; arrêt 5A_535/2019 du 25 juillet 2019 consid. 1.2).
1.3. Pour le surplus, le recours a été déposé en temps utile (<ref-law>) contre une décision rendue par un tribunal supérieur ayant statué en dernière instance cantonale (<ref-law>). Le recourant, qui a succombé devant la juridiction précédente, a qualité pour recourir (<ref-law>).
1.4. Le recours doit contenir des conclusions, c'est-à-dire indiquer quels sont les points du dispositif de l'arrêt attaqué qui sont contestés, quelles sont les modifications qui sont demandées (<ref-law>; arrêt 5A_493/2018 du 5 novembre 2018 consid. 2.3). L'application du principe de la confiance impose d'interpréter les conclusions à la lumière de la motivation; l'interdiction du formalisme excessif commande, pour sa part, de ne pas se montrer trop strict dans la formulation des conclusions si, à la lecture du mémoire, on comprend clairement ce que veut le recourant (arrêts 5A_1023/2018 du 8 juillet 2019 consid. 1.2; 5A_866/2015 du 2 mai 2016 consid. 1.2 et les références, non publié in <ref-ruling>).
Le recourant ne prend pas de conclusion formelle en levée de la suspension prononcée par l'autorité de première instance et confirmée en deuxième instance cantonale. A la lecture de son mémoire, on comprend toutefois qu'il souhaite ladite levée, de sorte que le recours est recevable sur ce point.
Le litige portant uniquement sur le point de savoir si la cour cantonale a violé les droits constitutionnels du recourant en suspendant la procédure, il n'appartient pas au Tribunal fédéral d'examiner si les conditions d'instauration d'une garde alternée ou d'une extension provisoire du droit de visite sont remplies. Il ne lui appartient pas non plus, à ce stade de la procédure, de statuer sur les diverses injonctions et interdictions que le recourant souhaite voir prononcées à l'encontre de l'intimée. Les conclusions ainsi que la motivation du recours sur ces points sont donc d'emblée irrecevables, dès lors qu'elles relèvent du fond (cf. ég. infra consid. 3.3 et 3.5).
2.
2.1. La décision de suspension de la procédure est une décision de mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 1.3; arrêt 5A_966/2018 du 28 novembre 2018 consid. 3.2 et les références). Seule la violation de droits constitutionnels peut par conséquent être invoquée. Le Tribunal fédéral n'examine de tels griefs que pour autant qu'ils aient été expressément soulevés et exposés de manière claire et détaillée (" principe d'allégation ", <ref-law>).
En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1, 170 consid. 7.3; <ref-ruling> consid. 4.3).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut également tenir compte des faits figurant dans les autres décisions du dossier dans la mesure où ces éléments ont été repris au moins implicitement par l'arrêt attaqué (arrêts 5A_421/2018 du 13 novembre 2018 consid. 2.2; 4A_138/2018 du 10 septembre 2018 consid. 1.2; sous l'OJ: cf. <ref-ruling> consid. 1). Conformément à ce principe, les faits résumés ci-dessus intègrent aussi des éléments figurant dans la décision de l'APEA du 11 avril 2019.
Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1).
3.
3.1. La cour cantonale a constaté que le recourant avait requis de l'APEA des mesures provisionnelles visant à l'instauration de la garde alternée, subsidiairement, à l'élargissement de son droit de visite. L'autorité de première instance avait rejeté cette requête par décision du 22 août 2018. Or, s'il souhaitait requérir des mesures provisionnelles, le père aurait dû interjeter recours à l'encontre de la décision précitée, ce qu'il n'avait pas fait, ou demander une nouvelle décision de l'APEA sur mesures provisionnelles. Les mesures provisionnelles qu'il requérait en deuxième instance étaient liées au fond et non destinées à régler provisoirement une situation au cours de la procédure de recours. Or, il n'était pas possible d'élargir de cette manière l'objet de la décision de première instance en recourant contre une décision qui n'avait pas pour objet des mesures provisionnelles. Soulignant qu'elle ne pouvait pas prendre elle-même de telles mesures mais pouvait tout au plus statuer sur la question de savoir si la suspension se justifiait, la cour cantonale a constaté que le recourant se bornait à faire valoir que la garde alternée devait être mise en oeuvre au plus vite, ceci de manière définitive, et que, subsidiairement, son droit de visite devait être élargi de manière provisoire pendant la durée de la médiation. Il ne faisait valoir aucun argument à l'encontre de la décision entreprise de suspension de la procédure, de sorte que son recours était largement irrecevable. On pouvait toutefois relever que rien au dossier ne s'opposait à la suspension de la procédure de première instance au profit d'une médiation parentale. En effet, statuer sur la garde et la prise en charge de l'enfant à ce stade de la procédure risquerait de mettre en péril la médiation ordonnée, dont le but était précisément d'avancer en amenant si possible les parents à un accord sur ces questions, accord qui serait favorable au bien de l'enfant en évitant que la situation conflictuelle ne perdure. La juridiction précédente a ainsi rejeté le recours dans la mesure de sa recevabilité, en précisant que le recourant conservait la possibilité, si la médiation n'aboutissait pas dans un délai raisonnable à des avancées significatives, de requérir la reprise de la procédure de première instance et de demander à l'APEA de statuer sur ses réquisitions de preuve complémentaires et sur les mesures requises au fond.
3.2.
3.2.1. Le recourant invoque la violation de son droit d'être entendu (art. 29 al. 2 Cst.), sous l'angle du droit à une décision motivée. La motivation extrêmement succincte de la décision querellée ne lui permettrait pas de comprendre pour quels motifs la garde alternée ne pourrait pas être prononcée immédiatement ou, à tout le moins, pour quelles raisons son droit de visite ne pourrait pas être élargi durant la procédure de médiation. Par ailleurs, la juridiction précédente n'aurait nullement motivé son refus de prendre en compte les éléments de fait qu'il avait fait valoir dans son recours.
3.2.2. L'obligation de motiver, telle qu'elle découle du droit d'être entendu (art. 29 al. 2 Cst.), est respectée lorsque le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 5.2; <ref-ruling> consid. 2.1; <ref-ruling> consid. 4.3.2 et les références). L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais elle peut au contraire se limiter à ceux qui lui paraissent pertinents (<ref-ruling> consid. 5.2; <ref-ruling> consid. 1.3.1). La motivation peut être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1).
3.2.3. En l'espèce, la motivation de l'arrêt attaqué permet de comprendre que la juridiction précédente a jugé non pertinents les arguments du recourant portant sur le fond, qu'elle a confirmé la suspension afin d'éviter de mettre en péril la médiation et a refusé de prononcer des mesures provisoires pour la durée de la médiation au motif qu'elle ne pouvait prendre elle-même des mesures qui n'avaient pas fait l'objet de la décision de première instance. Bien que succincte, la motivation apparaît suffisante au regard des exigences susmentionnées (cf. supra consid. 3.2.2), de sorte que le grief doit être rejeté.
3.3.
3.3.1. Le recourant reproche ensuite à la cour cantonale d'avoir constaté les faits de manière manifestement inexacte en retenant qu'il n'avait présenté aucun argument à l'encontre de la décision de suspension et en n'examinant pas ses griefs relatifs au caractère critiquable et incomplet du rapport du Service de la jeunesse, à sa prise en charge effective de l'enfant depuis la séparation jusqu'au mois d'août 2017, aux nombreux évènements au cours desquels l'intimée se serait immiscée de manière grave et violente dans son droit de visite depuis la rentrée 2017 ainsi qu'au comportement non collaborant de celle-ci. La cour cantonale aurait également refusé de manière insoutenable d'ordonner différentes mesures d'instruction qu'il avait requises, notamment la production de rapports de police. Enfin, conformément aux maximes inquisitoire et d'office, la juridiction précédente ne pouvait déclarer son recours " purement et simplement irrecevable " sans examiner de manière approfondie si la suspension servait le bien de l'enfant.
3.3.2. En l'occurrence, les éléments que le recourant fait valoir ont trait à l'instauration de la garde alternée et aux modalités de prise en charge de l'enfant, de sorte qu'ils ne sont pas déterminants pour l'issue de la présente cause, qui porte uniquement sur la question de la suspension (cf. supra consid. 1.4). La cour cantonale - qui n'a au demeurant nullement déclaré le recours irrecevable mais est entrée en matière sur la question de la suspension - n'a ainsi pas versé dans l'arbitraire en n'instruisant pas ces éléments. Autant que recevable, le grief est infondé.
3.4.
3.4.1. Le recourant reproche également à la cour cantonale d'avoir violé le principe de célérité (art. 29 al. 1 Cst.) en confirmant la suspension de la procédure. Pendant plus de 18 mois après le dépôt de sa requête, l'APEA n'aurait pris aucune " décision concrète ", se bornant à entendre la mère de l'enfant hors de la présence du père et à requérir un rapport du Service de la jeunesse. Ce n'était que 13 mois après le dépôt de la requête qu'elle aurait tenu une audience et il aurait fallu 5 mois supplémentaires pour obtenir une décision ne portant au final que sur la suspension et la mise en place d'une médiation. Par ailleurs, il faudra attendre de nombreux mois pour espérer voir une garde alternée prononcée et le risque serait important que les parties se trouvent alors dans la même position qu'actuellement, seul le comportement de l'intimée empêchant l'instauration d'une garde alternée. Enfin, les interdictions et injonctions à l'égard de l'intimée qu'il souhaiterait voir prononcées exigeraient un traitement rapide.
3.4.2. En vertu de l'art. 29 al. 1 Cst., toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement et jugée dans un délai raisonnable. Cette disposition consacre notamment le principe de célérité ou, en d'autres termes, prohibe le retard injustifié à statuer. L'autorité viole cette garantie constitutionnelle lorsqu'elle ne rend pas la décision qu'il lui incombe de prendre dans le délai prescrit par la loi ou dans un délai que la nature de l'affaire ainsi que toutes les autres circonstances font apparaître comme raisonnable (<ref-ruling> consid. 7.1 et les références). Ce principe est notamment violé lorsque l'autorité ordonne la suspension d'une procédure sans motifs objectifs (<ref-ruling> consid. 1; arrêt 1B_238/2018 du 5 septembre 2018 consid. 2.1).
3.4.3. Le recourant souligne à juste titre que le principe de célérité revêt une importance particulière lorsque la procédure porte, comme en l'espèce, sur la garde et les modalités de prise en charge d'un enfant. Toutefois, en tant qu'il se plaint de la durée de la procédure de première instance entre le dépôt de sa requête et le prononcé de la suspension, sa critique, autant que recevable, est infondée. En effet, il ressort des constatations de fait de la décision de première instance, auxquelles se réfère expressément la juridiction précédente, que, depuis l'ouverture de la procédure en protection de l'enfant, l'APEA a examiné les diverses requêtes qui lui ont été adressées par les parties et a régulièrement avancé dans le traitement du dossier. Par ailleurs, le recourant a lui-même sollicité plusieurs prolongations de délai, participant ainsi à l'allongement de la procédure. Il n'apparaît en outre pas que le recourant se serait plaint de la longueur de la procédure avant son courrier du 18 mars 2019. Enfin, compte tenu de la mise en oeuvre, avec l'accord des parents, d'une médiation portant précisément sur les points que le recourant souhaite voir régler dans la présente procédure, l'autorité cantonale disposait, en l'espèce, d'un motif objectif pour ordonner la suspension, celle-ci n'ayant au demeurant pas été prononcée sine die, mais pour une durée de huit mois uniquement. Au vu de ce qui précède, le grief est infondé.
3.5. Le recourant reproche enfin à la juridiction précédente d'avoir arbitrairement appliqué l'art. 298bter (sic) CC en refusant d'ordonner la garde alternée bien que les conditions soient manifestement remplies. Dès lors qu'il porte sur le fond du litige (cf. supra consid. 1.4), le grief est d'emblée irrecevable.
4.
En définitive, le recours est rejeté dans la mesure de sa recevabilité. Les frais sont mis à la charge du recourant, qui succombe (<ref-law>). Il n'est pas alloué de dépens à l'intimée, qui n'a pas été invitée à se déterminer (art. 68 al. 1 et 2 LTF). Compte tenu de l'issue de la cause, il n'y a pas lieu de modifier la décision cantonale en matière de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à l'Autorité de protection de l'enfant et de l'adulte (APEA) et au Tribunal de la protection de l'enfant et de l'adulte de la Cour suprême du canton de Berne.
Lausanne, le 22 novembre 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Feinberg