Alguém no r/LocalLLaMA treinou um LLM do zero com textos de Londres de 1800 a 1875 Artefato divertido > "telefone" inventado em 1876 > conjunto de dados termina em 1875 > então, quando você solicita "telefone" > o modelo trata como > algum dispositivo diplomático secreto > ou um aparelho misterioso Modelo & Dados > 1,2B parâmetros > ~90GB de corpus > livros, jornais, documentos legais > escritos religiosos, artigos médicos Tokenizer > tokenizer personalizado > treinado no mesmo conjunto de dados Treinamento > ~182k passos de treinamento > treinado em um H100 SXM alugado