GPT-2-style-ptb-causal-page-2026-10-22

Petit modèle de langage de style GPT-2, au niveau caractère, entraîné sur ptb avec l'attention causal + page. C'est le meilleur point de cette variante dans un benchmark de 8 variantes × 9 configurations × 5 graines.

Modèle retenu

variante causal + page
configuration 3 couche(s), 4 tête(s), d_model = 256, d_ff = 512, block_size = 128
paramètres 3,572,492
graine 1
meilleure loss de validation 1.1075 (au pas 2850)
loss de validation finale 1.1085

Cette variante sur toutes les configurations (ptb, 5 graines)

configuration loss de validation finale
1L×1H 1.2327 ± 0.0042
1L×2H 1.2282 ± 0.0033
1L×4H 1.2250 ± 0.0048
2L×1H 1.1478 ± 0.0060
2L×2H 1.1390 ± 0.0054
2L×4H 1.1334 ± 0.0065
3L×1H 1.1560 ± 0.0644
3L×2H 1.1173 ± 0.0033
3L×4H 1.1287 ± 0.0366

Entraînement

Adam (lr 0.001, betas [0.9, 0.999], eps 1e-08), clipping 1.0, 3000 pas, batch 32 × 128, évaluation tous les 150 pas sur 50 batchs. Algorithmes déterministes, float32, graines fixées.

Données : ptb, 5,101,618 caractères d'entraînement, 399,782 de validation, vocabulaire 50. SHA-256 : entraînement 138eec6da756a38d3baf4c4c7c91fb7020c741783a1b48a09fbfd0b102a6e4ce, validation f45598d5fef9c825e4cdb28310e1ab30d00c4b3bfc26c68a2d3434c1defe11ac.

Reproductibilité

début / fin (UTC) 2026-10-22T11:10:58+00:00 / 2026-10-22T11:14:07+00:00
durée 189 s (51.2 ms par pas d'entraînement)
GPU NVIDIA L4 (pilote 580.82.07)
CUDA / cuDNN 13.0 / 92700
PyTorch / Python 2.11.0+cu130 / 3.13.15
algorithmes déterministes True

Utilisation

from huggingface_hub import snapshot_download
import sys, torch
folder = snapshot_download("analist/GPT-2-style-ptb-causal-page-2026-10-22")
sys.path.insert(0, folder)
from modeling import load
model, tokenizer = load(folder)
idx = torch.tensor([tokenizer.encode("the company said")])
print(tokenizer.decode(model.generate(idx, max_new_tokens=200, temperature=0.8)[0].tolist()))
Downloads last month
54
Safetensors
Model size
3.8M params
Tensor type
F32
·
BOOL
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support