Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/07102.jsonl.gz/321

Voici les diapositives que j’ai présentées lors d’un meetup ClickHouse Bay Area en juillet 2022, organisé par Altinity. Elles portent sur Akvorado, un collecteur et visualisateur de flux réseau, et notamment sur la façon dont il s’appuie sur ClickHouse, une base de données orientée colonnes.
J’ai eu quelques questions sur la façon d’obtenir des informations des couches supérieures, comme HTTP. Comme mon cas d’utilisation d’Akvorado se situait à la périphérie du réseau, mes réponses étaient principalement négatives. Cependant, comme sFlow est extensible, lorsque vous collectez des flux à partir de serveurs Linux, vous pouvez intégrer des données supplémentaires et les exporter également.
J’ai également reçu une question sur l’agrégation dans une seule
table. ClickHouse peut agréger automatiquement des données en
utilisant le TTL. Ma réponse pour ne pas le faire est partielle. Il y
a une autre raison : les périodes de rétention des différentes tables
peuvent se chevaucher. Par exemple, la table principale conserve les
données pendant 15 jours, mais même pendant ces 15 jours, si je fais
une requête sur une fenêtre de 12 heures, il est plus rapide
d’utiliser la table agrégée
flows_1m0s, sauf si je demande quelque
chose sur les ports et les adresses IP.
-
Pour générer les sous-titres, j’ai utilisé Amazon Transcribe, la solution de conversion de la parole en texte d’Amazon AWS. Malheureusement, il n’y a pas de langue
en-FRdisponible, ce qui aurait été utile pour mon
terribleaccent. Si les sous-titres étaient exacts à 100 % lorsque l’hôte, Robert Hodge d’Altinity, s’exprimait, le taux de réussite pour mon intervention était bien plus faible. J’ai dû réécrire presque toutes les phrases. Cependant, l’utilisation de la reconnaissance vocale reste utile pour synchroniser le texte et la voix, car c’est aussi quelque chose qui demande beaucoup de travail à faire manuellement. ↩︎