Ktoś na r/LocalLLaMA wytrenował LLM od podstaw na tekstach z Londynu z lat 1800-1875 Ciekawy artefakt > „telefon” wynaleziony w 1876 roku > zbiór danych kończy się w 1875 roku > więc gdy zapytasz o „telefon” > model traktuje to jak > jakiś tajny urządzenie dyplomatyczne > lub tajemniczy aparat Model i dane > 1,2 miliarda parametrów > ~90GB korpusu > książki, czasopisma, dokumenty prawne > pisma religijne, prace medyczne Tokenizer > niestandardowy tokenizer > wytrenowany na tym samym zbiorze danych Trening > ~182k kroków treningowych > wytrenowany na wynajętym H100 SXM