TinyLili-zh-64M

A tiny mind that actually thinks.

Demo

Philosophy

• Hallucination == creativity
• Understand the complex adult world using "Explain like I'm 5"(ELI5) grounded reasoning skills
  • A radically deep and narrow n_layers, dim = 20, 512 structure to force a highly efficient latent space for analogy thinking.
  • instead of memorize precise definition, we prioritize on shared generic patterns by using childlike analogy
  • "Sun" = "A big fire ball". "Government" = "A Big House". "Economic Crisis" = "Dad run out of money"

High Overview of Methodology

• All LLM transcribed data using "Explain like I'm 5" prompt, over generic internet corpus from multiple sources and advanced topics
• Intensive CoT distillation on everyday tasks like "how to make your cat a warm house." (piqa, obqa, arc, riddles dataset)
• A radically deep and narrow n_layers, dim = 20, 512 structure.
• Grokking at the blink of overfitting (about 500M tokens, but 40+ iterations)

Example Dialogue

问：北京有什么好玩的?

答：北京有很多有趣的地方可以玩哦！首先，有一个叫“天坛”的地方。天坛就像一个大大的圆圈，里面有很多圆圆的房子，每年春天的时候，人们会在这里祭祀祖先。你知道吗？这里还有很多漂亮的花和树，夏天的时候，很多人会在这里玩水，像小鱼儿一样游来游去。

还有一个叫“京镇”的地方，那里有一些小商店，卖很多好吃的东西，比如糖葫芦、炒年糕，还有一些小吃，非常好吃哦！在春节的时候，人们会把这些美食放在家里，和家人一起吃，象征着团圆。

再有一个地方叫“黄庭湖”，那里有美丽的山和水，还有很多小船在水上漂。你可以坐船在水上，看到两边的山，像是在玩捉迷藏一样，非常好玩！

最后，北京还有很多花园，春天的时候，花儿开得特别漂亮，有的花会开得特别大，你可以在公园里跑来跑去，感受春天的气息。

所以，北京有很多好玩的地方，可以让你开心地玩耍和探索哦！

问：奶奶今年八十岁了，可她还是坚持一个人住乡下，说那是她的根。我们全家都劝她搬来城市，可她总说“住得舒服，比啥都重要”。但她上个月摔了一跤，脚还没完全好，万一再出事怎么办？她那么倔，我们还能怎么劝呢？

答：小朋友，奶奶最近身体不太好，所以她选择住在乡下，可能是因为她觉得那里比较安全，也许她觉得这样比较舒服。你知道吗？乡下的人有时候会觉得，如果一个人住在乡下，就像是有个大大的拥抱，可以让他们感到安全和温暖。

可是，奶奶摔了一跤，脚还没好，这让她很难受，对吧？她可能觉得，如果不住在乡下，就像是没有地方可以躲避风雨，那样就不好了。所以，奶奶可能觉得，如果她不住在乡下，就会觉得很孤单，像是没有朋友一样。

那么，我们可以怎么帮助奶奶呢？首先，我们可以和奶奶聊聊天，告诉她她很想住在乡下，但她觉得那样会让她不舒服。我们可以一起想办法，比如说，如果她需要住在乡下，可以找一个可以住的地方，或者找一个离她家近一点的地方。

另外，我们也可以鼓励奶奶去找一些其他的朋友或者邻居，一起住在乡下，这样她就不会那么孤单了。我们还可以一起做一些好吃的，或者一起玩游戏，让她开心。

最重要的是，奶奶要知道，无论她选择住在哪里，她都是很特别的，她有自己的故事和经历。我们可以一起陪着她，让她知道无论她选择住在哪里，她都不会孤单。这样，奶奶就会觉得好一些，也能更开心地和我们一起生活了！

问：一个人的目的是否必须要被社会认可？

答：好的，小朋友，我来告诉你这个问题。

想象一下，你在幼儿园里，老师给你布置了一个任务。你要帮助小朋友们把画画得更好，或者让他们在课堂上听老师的话。这个任务就像是你在社会上做的事情，比如帮助同学、照顾小动物或者帮助老师。

但是，有时候，老师会告诉你，“如果你们做得很好，就可以得到奖励！”这就像是你在幼儿园里，老师给你奖励一样。这样做是为了让你觉得自己很重要，也能让别人看到你努力的成果。

所以，有些人认为，一个人的目的，比如帮助别人，是必须被社会认可的。因为社会上有很多人都在努力做好事，帮助别人，让大家都能快乐。就像在幼儿园里，老师会希望每个小朋友都能做好，这样大家才能一起玩得开心。

但是，有些人觉得，社会也很重要，因为它能帮助我们学习新知识，交到朋友，让我们的生活变得更好。所以，有时候，社会认可的事情，可能不是必须要被社会认可的，而是要看看我们自己能做什么，能帮助多少。

所以，这个问题没有一个简单的答案，每个人的想法都可以不同。重要的是，我们要努力做一个好人，帮助别人，让这个世界变得更美好！

小朋友们，今天我们来讲讲一个关于一个很古老的地方的故事。这个地方有一个很特别的人，他叫老李。他是一个很厉害的科学家，很多人都很尊重他。

老李很会做实验，他发现了很多有趣的事情。他发现了一个很大的矿石，里面有很多金子。这个金子是用来做很多事情的，比如制造一种叫做“钻石”的东西，这种钻石非常坚硬，可以用来做首饰。

老李还发现了一种叫做“钻石树”的东西，它非常坚硬，可以用来做很多好东西。很多人都想知道，为什么这个地方的钻石这么贵呢？老李说，因为这个地方的人们很努力，他们想让更多的人知道这个地方的特别之处。

老李还告诉大家，钻石树的名字很有意思。它是从一种叫“钻石”的树长上长出来的。这个地方有很多人，他们都很喜欢钻石树。钻石树是长得很高，像大树一样。

老李在他的实验室里，做了一个叫“钻石树”的东西。这个东西是用特别的机器把钻石挖出来的。这个地方的人们非常喜欢钻石，他们每天都在努力工作，希望能把它做得更好。

老李还发现，钻石树的叶子很特别，它可以用来做很多东西，比如装饰品和工艺品。他还发现，钻石树的叶子很特别，可以用来做成好看的饰品，大家都很喜欢。

问：火星上有什么好吃的 答：火星上有很多好吃的食物哦！你知道火星是什么地方吗？火星是一个很远很远的地方，像一个大大的火球，那里有很多沙子和岩石。火星上有很多好吃的东西，可以和火星的食物一起吃，比如说火星的冰，或者是火星的冰块。

在火星上，你可以找到一些像鱼的东西，还有一些像小贝壳和小虫子的食物。火星的天气有时候会很热，有时候会很冷，所以你需要带上帽子和暖和的衣服。

还有一些特别好吃的东西，比如说，火星的食物叫做“火星土”，他们会用一些特别的土和石头来做食物，比如说“火星土”和“火星冰”。这些土和石头可以用来做很多好吃的东西，比如火星的冰淇淋或者火星的冰淇淋。

火星的食物还有很多种，有些是很特别的，有些是新鲜的，有些可能不是，但是它们都是用火星的土和石头做的。你可以想象一下，火星上有很多奇妙的东西，有的像沙子，有的像大^C对话记录已清空

问：土星上有什么好吃的

答：在土星上，有一些很好吃的东西哦！土星的天空中有一种叫做““土星环”，就像一个漂亮的环，里面有一些小小的圆圈，像是小星星。它的颜色是金黄色和银色的，看起来就像一片大大的冰淇淋。

还有一种叫做“斯普里吉纳虫”的小虫子，它的身体很特别，像一个小小的花瓣，颜色是深棕色和银色。它的身体是圆圆的，有点像一个小小的圆球。

另外，还有一种叫做“土星镇”，它的名字是“土星镇”，这个地方有很多美丽的风景和动物，比如小鸟、小猫和各种小动物。你可以想象它们在草地上跳来跳去，真是太好玩了！

土星上还有一种叫做“土卫兽”，它是土星的好朋友，有着漂亮的皮肤，像穿着五彩衣服的小衣服。它的身边有一些小朋友，他们喜欢在草地上玩耍，或者和小动物们一起玩游戏。

所以，在土星上，有很多好吃的东西，我们可以尝试不同的食物，和朋友们一起分享，真是太开心了！

Training Code

(github)<https://github.com/fangzhangmnm/my_llama)