{ "best_global_step": null, "best_metric": null, "best_model_checkpoint": null, "epoch": 7.8, "eval_steps": 500, "global_step": 296, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.16, "grad_norm": 1.4568448066711426, "learning_rate": 8.333333333333334e-06, "loss": 2.6, "step": 6 }, { "epoch": 0.32, "grad_norm": 1.706678867340088, "learning_rate": 1.8333333333333333e-05, "loss": 2.4899, "step": 12 }, { "epoch": 0.48, "grad_norm": 1.006555199623108, "learning_rate": 2.8333333333333335e-05, "loss": 2.1918, "step": 18 }, { "epoch": 0.64, "grad_norm": 0.5872967839241028, "learning_rate": 3.8333333333333334e-05, "loss": 1.9688, "step": 24 }, { "epoch": 0.8, "grad_norm": 0.6528421640396118, "learning_rate": 4.8333333333333334e-05, "loss": 1.81, "step": 30 }, { "epoch": 0.96, "grad_norm": 0.507321834564209, "learning_rate": 4.995642270341961e-05, "loss": 1.7358, "step": 36 }, { "epoch": 1.1066666666666667, "grad_norm": 0.43602225184440613, "learning_rate": 4.978932115289164e-05, "loss": 1.7132, "step": 42 }, { "epoch": 1.2666666666666666, "grad_norm": 0.4586995244026184, "learning_rate": 4.9497790530185194e-05, "loss": 1.5262, "step": 48 }, { "epoch": 1.4266666666666667, "grad_norm": 0.5196951627731323, "learning_rate": 4.908329416237855e-05, "loss": 1.5828, "step": 54 }, { "epoch": 1.5866666666666667, "grad_norm": 0.5491556525230408, "learning_rate": 4.854791259851735e-05, "loss": 1.5431, "step": 60 }, { "epoch": 1.7466666666666666, "grad_norm": 0.7585982084274292, "learning_rate": 4.789433316637644e-05, "loss": 1.4389, "step": 66 }, { "epoch": 1.9066666666666667, "grad_norm": 0.4534478783607483, "learning_rate": 4.7125836483518276e-05, "loss": 1.6127, "step": 72 }, { "epoch": 2.0533333333333332, "grad_norm": 0.4909082353115082, "learning_rate": 4.624627999035563e-05, "loss": 1.6251, "step": 78 }, { "epoch": 2.2133333333333334, "grad_norm": 0.4229148030281067, "learning_rate": 4.526007858787341e-05, "loss": 1.4745, "step": 84 }, { "epoch": 2.3733333333333335, "grad_norm": 0.479069322347641, "learning_rate": 4.417218247719794e-05, "loss": 1.4932, "step": 90 }, { "epoch": 2.533333333333333, "grad_norm": 0.46934565901756287, "learning_rate": 4.298805231224721e-05, "loss": 1.5389, "step": 96 }, { "epoch": 2.6933333333333334, "grad_norm": 0.5333085060119629, "learning_rate": 4.1713631790182364e-05, "loss": 1.4052, "step": 102 }, { "epoch": 2.8533333333333335, "grad_norm": 0.6139510273933411, "learning_rate": 4.03553178172417e-05, "loss": 1.4193, "step": 108 }, { "epoch": 3.0, "grad_norm": 1.1863155364990234, "learning_rate": 3.891992839970855e-05, "loss": 1.4493, "step": 114 }, { "epoch": 3.16, "grad_norm": 0.47763174772262573, "learning_rate": 3.741466842118327e-05, "loss": 1.388, "step": 120 }, { "epoch": 3.32, "grad_norm": 0.6077569723129272, "learning_rate": 3.5847093477938956e-05, "loss": 1.4892, "step": 126 }, { "epoch": 3.48, "grad_norm": 0.6446802616119385, "learning_rate": 3.4225071953887976e-05, "loss": 1.2857, "step": 132 }, { "epoch": 3.64, "grad_norm": 0.6368306279182434, "learning_rate": 3.255674552552267e-05, "loss": 1.3385, "step": 138 }, { "epoch": 3.8, "grad_norm": 0.6375647187232971, "learning_rate": 3.085048829507406e-05, "loss": 1.3926, "step": 144 }, { "epoch": 3.96, "grad_norm": 0.5205168128013611, "learning_rate": 2.9114864757018352e-05, "loss": 1.4073, "step": 150 }, { "epoch": 4.1066666666666665, "grad_norm": 0.5679847002029419, "learning_rate": 2.7358586808916557e-05, "loss": 1.346, "step": 156 }, { "epoch": 4.266666666666667, "grad_norm": 0.7335474491119385, "learning_rate": 2.559047002236995e-05, "loss": 1.2603, "step": 162 }, { "epoch": 4.426666666666667, "grad_norm": 0.589838981628418, "learning_rate": 2.381938939358742e-05, "loss": 1.3829, "step": 168 }, { "epoch": 4.586666666666667, "grad_norm": 0.7259387373924255, "learning_rate": 2.2054234795673334e-05, "loss": 1.2392, "step": 174 }, { "epoch": 4.746666666666667, "grad_norm": 0.6618655323982239, "learning_rate": 2.0303866356241347e-05, "loss": 1.2355, "step": 180 }, { "epoch": 4.906666666666666, "grad_norm": 0.6888784170150757, "learning_rate": 1.8577069984334522e-05, "loss": 1.3339, "step": 186 }, { "epoch": 5.053333333333334, "grad_norm": 0.6607619524002075, "learning_rate": 1.6882513269882917e-05, "loss": 1.2421, "step": 192 }, { "epoch": 5.213333333333333, "grad_norm": 0.5808788537979126, "learning_rate": 1.5228701977059428e-05, "loss": 1.2483, "step": 198 }, { "epoch": 5.373333333333333, "grad_norm": 0.8477427959442139, "learning_rate": 1.3623937349914093e-05, "loss": 1.1885, "step": 204 }, { "epoch": 5.533333333333333, "grad_norm": 0.8356456756591797, "learning_rate": 1.2076274444589361e-05, "loss": 1.2716, "step": 210 }, { "epoch": 5.693333333333333, "grad_norm": 0.6601621508598328, "learning_rate": 1.0593481697266583e-05, "loss": 1.2726, "step": 216 }, { "epoch": 5.8533333333333335, "grad_norm": 0.6664631962776184, "learning_rate": 9.183001930790483e-06, "loss": 1.2869, "step": 222 }, { "epoch": 6.0, "grad_norm": 1.32724928855896, "learning_rate": 7.8519149956978e-06, "loss": 1.1743, "step": 228 }, { "epoch": 6.16, "grad_norm": 0.7983782291412354, "learning_rate": 6.606902233171711e-06, "loss": 1.1741, "step": 234 }, { "epoch": 6.32, "grad_norm": 0.80069500207901, "learning_rate": 5.454212938299255e-06, "loss": 1.2305, "step": 240 }, { "epoch": 6.48, "grad_norm": 0.7888651490211487, "learning_rate": 4.3996329919678666e-06, "loss": 1.2446, "step": 246 }, { "epoch": 6.64, "grad_norm": 0.7723708152770996, "learning_rate": 3.448455818852267e-06, "loss": 1.1463, "step": 252 }, { "epoch": 6.8, "grad_norm": 0.6837812066078186, "learning_rate": 2.6054558172668607e-06, "loss": 1.2031, "step": 258 }, { "epoch": 6.96, "grad_norm": 0.7843449711799622, "learning_rate": 1.874864394251688e-06, "loss": 1.1882, "step": 264 }, { "epoch": 7.1066666666666665, "grad_norm": 0.7820224165916443, "learning_rate": 1.2603487261826724e-06, "loss": 1.2817, "step": 270 }, { "epoch": 7.266666666666667, "grad_norm": 0.6901125907897949, "learning_rate": 7.649933515167407e-07, "loss": 1.1952, "step": 276 }, { "epoch": 7.426666666666667, "grad_norm": 0.7218272089958191, "learning_rate": 3.9128468806614306e-07, "loss": 1.0941, "step": 282 }, { "epoch": 7.586666666666667, "grad_norm": 0.732901930809021, "learning_rate": 1.410985525170827e-07, "loss": 1.1265, "step": 288 }, { "epoch": 7.746666666666667, "grad_norm": 0.9005849361419678, "learning_rate": 1.5690744837873473e-08, "loss": 1.2679, "step": 294 }, { "epoch": 7.8, "step": 296, "total_flos": 3823423544033280.0, "train_loss": 1.438473161007907, "train_runtime": 385.3791, "train_samples_per_second": 6.228, "train_steps_per_second": 0.768 } ], "logging_steps": 6, "max_steps": 296, "num_input_tokens_seen": 0, "num_train_epochs": 8, "save_steps": 1000, "stateful_callbacks": { "TrainerControl": { "args": { "should_epoch_stop": false, "should_evaluate": false, "should_log": false, "should_save": true, "should_training_stop": true }, "attributes": {} } }, "total_flos": 3823423544033280.0, "train_batch_size": 2, "trial_name": null, "trial_params": null }