Device: cuda Loaded 53133516 characters from Wikipedia Vocabulary size: 2381 Parameters: 118,269 (~1K) Step 0 | Loss: 7.7664 Step 300 | Loss: 2.8882 Step 600 | Loss: 2.8522 Step 900 | Loss: 2.7766 Step 1200 | Loss: 2.7016 Step 1500 | Loss: 2.7218 Step 1800 | Loss: 2.7134 Step 2100 | Loss: 2.7602 Step 2400 | Loss: 2.7947 Step 2700 | Loss: 2.7831 โ Model saved!
Sample generation: ุงู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู ุงูู ู It repeats words. BTW this isnt good it repeats Aphid :(