Hugging Face's logo

Parveshiiii
/
Auto-Completer-0.2

Text Generation
Transformers
Safetensors
English
llama
auto-completion
long-context
smollm2
fine-tuned
conversational
text-generation-inference
Model card Files
xet
Community
Parveshiiii commited on
Commit
dcbebb8
·
verified ·
1 Parent(s): e5392b5

Upload folder using huggingface_hub

Browse files
Files changed (15) hide show
  1. chat_template.jinja +3 -0
  2. config.json +33 -0
  3. generation_config.json +10 -0
  4. merges.txt +0 -0
  5. model.safetensors +3 -0
  6. optimizer.pt +3 -0
  7. rng_state.pth +3 -0
  8. scaler.pt +3 -0
  9. scheduler.pt +3 -0
  10. special_tokens_map.json +43 -0
  11. tokenizer.json +0 -0
  12. tokenizer_config.json +170 -0
  13. trainer_state.json +1434 -0
  14. training_args.bin +3 -0
  15. vocab.json +0 -0
chat_template.jinja ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ {% for message in messages %}{{'<|' + message['role'] + '|>
2
+ ' + message['content'] + '<|endoftext|>' + '
3
+ '}}{% endfor %}
config.json ADDED
@@ -0,0 +1,33 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "LlamaForCausalLM"
4
+ ],
5
+ "attention_bias": false,
6
+ "attention_dropout": 0.0,
7
+ "bos_token_id": 0,
8
+ "dtype": "float32",
9
+ "eos_token_id": 0,
10
+ "head_dim": 64,
11
+ "hidden_act": "silu",
12
+ "hidden_size": 960,
13
+ "initializer_range": 0.02,
14
+ "intermediate_size": 2560,
15
+ "is_llama_config": true,
16
+ "max_position_embeddings": 8192,
17
+ "mlp_bias": false,
18
+ "model_type": "llama",
19
+ "num_attention_heads": 15,
20
+ "num_hidden_layers": 32,
21
+ "num_key_value_heads": 5,
22
+ "pad_token_id": 0,
23
+ "pretraining_tp": 1,
24
+ "rms_norm_eps": 1e-05,
25
+ "rope_interleaved": false,
26
+ "rope_scaling": null,
27
+ "rope_theta": 100000,
28
+ "tie_word_embeddings": true,
29
+ "transformers_version": "4.56.1",
30
+ "unsloth_version": "2025.9.2",
31
+ "use_cache": true,
32
+ "vocab_size": 49152
33
+ }
generation_config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "bos_token_id": 0,
4
+ "eos_token_id": [
5
+ 0
6
+ ],
7
+ "max_length": 8192,
8
+ "pad_token_id": 0,
9
+ "transformers_version": "4.56.1"
10
+ }
merges.txt ADDED
The diff for this file is too large to render. See raw diff
 
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9ab5878a56ab8dfce8a3008428428c7d8ede863b4458d4e39b4902c06dfcea90
3
+ size 1447317080
optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9ac5d52b9843c8b47d811a8869224cbdd205aa845d7588216b7d45f47a58c532
3
+ size 1017266409
rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:7c800b778fa7e115e4c34de8529902de8b61c9a1b4bab3eb8295d06dafff030e
3
+ size 14645
scaler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:14ae2a2128444abab378aa06c09a61a84665f758fcc19fc46f5789b0bc1b5665
3
+ size 1383
scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:61361c878721548392539ed308adea82ec21fc99e9c9e2512a2e560c5477b77c
3
+ size 1465
special_tokens_map.json ADDED
@@ -0,0 +1,43 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "additional_special_tokens": [
3
+ "<|endoftext|>",
4
+ "<|im_start|>",
5
+ "<|im_end|>",
6
+ "<repo_name>",
7
+ "<reponame>",
8
+ "<file_sep>",
9
+ "<filename>",
10
+ "<gh_stars>",
11
+ "<issue_start>",
12
+ "<issue_comment>",
13
+ "<issue_closed>",
14
+ "<jupyter_start>",
15
+ "<jupyter_text>",
16
+ "<jupyter_code>",
17
+ "<jupyter_output>",
18
+ "<jupyter_script>",
19
+ "<empty_output>"
20
+ ],
21
+ "bos_token": {
22
+ "content": "<|endoftext|>",
23
+ "lstrip": false,
24
+ "normalized": false,
25
+ "rstrip": false,
26
+ "single_word": false
27
+ },
28
+ "eos_token": {
29
+ "content": "<|endoftext|>",
30
+ "lstrip": false,
31
+ "normalized": false,
32
+ "rstrip": false,
33
+ "single_word": false
34
+ },
35
+ "pad_token": "<|endoftext|>",
36
+ "unk_token": {
37
+ "content": "<|endoftext|>",
38
+ "lstrip": false,
39
+ "normalized": false,
40
+ "rstrip": false,
41
+ "single_word": false
42
+ }
43
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,170 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_prefix_space": false,
3
+ "added_tokens_decoder": {
4
+ "0": {
5
+ "content": "<|endoftext|>",
6
+ "lstrip": false,
7
+ "normalized": false,
8
+ "rstrip": false,
9
+ "single_word": false,
10
+ "special": true
11
+ },
12
+ "1": {
13
+ "content": "<|im_start|>",
14
+ "lstrip": false,
15
+ "normalized": false,
16
+ "rstrip": false,
17
+ "single_word": false,
18
+ "special": true
19
+ },
20
+ "2": {
21
+ "content": "<|im_end|>",
22
+ "lstrip": false,
23
+ "normalized": false,
24
+ "rstrip": false,
25
+ "single_word": false,
26
+ "special": true
27
+ },
28
+ "3": {
29
+ "content": "<repo_name>",
30
+ "lstrip": false,
31
+ "normalized": false,
32
+ "rstrip": false,
33
+ "single_word": false,
34
+ "special": true
35
+ },
36
+ "4": {
37
+ "content": "<reponame>",
38
+ "lstrip": false,
39
+ "normalized": false,
40
+ "rstrip": false,
41
+ "single_word": false,
42
+ "special": true
43
+ },
44
+ "5": {
45
+ "content": "<file_sep>",
46
+ "lstrip": false,
47
+ "normalized": false,
48
+ "rstrip": false,
49
+ "single_word": false,
50
+ "special": true
51
+ },
52
+ "6": {
53
+ "content": "<filename>",
54
+ "lstrip": false,
55
+ "normalized": false,
56
+ "rstrip": false,
57
+ "single_word": false,
58
+ "special": true
59
+ },
60
+ "7": {
61
+ "content": "<gh_stars>",
62
+ "lstrip": false,
63
+ "normalized": false,
64
+ "rstrip": false,
65
+ "single_word": false,
66
+ "special": true
67
+ },
68
+ "8": {
69
+ "content": "<issue_start>",
70
+ "lstrip": false,
71
+ "normalized": false,
72
+ "rstrip": false,
73
+ "single_word": false,
74
+ "special": true
75
+ },
76
+ "9": {
77
+ "content": "<issue_comment>",
78
+ "lstrip": false,
79
+ "normalized": false,
80
+ "rstrip": false,
81
+ "single_word": false,
82
+ "special": true
83
+ },
84
+ "10": {
85
+ "content": "<issue_closed>",
86
+ "lstrip": false,
87
+ "normalized": false,
88
+ "rstrip": false,
89
+ "single_word": false,
90
+ "special": true
91
+ },
92
+ "11": {
93
+ "content": "<jupyter_start>",
94
+ "lstrip": false,
95
+ "normalized": false,
96
+ "rstrip": false,
97
+ "single_word": false,
98
+ "special": true
99
+ },
100
+ "12": {
101
+ "content": "<jupyter_text>",
102
+ "lstrip": false,
103
+ "normalized": false,
104
+ "rstrip": false,
105
+ "single_word": false,
106
+ "special": true
107
+ },
108
+ "13": {
109
+ "content": "<jupyter_code>",
110
+ "lstrip": false,
111
+ "normalized": false,
112
+ "rstrip": false,
113
+ "single_word": false,
114
+ "special": true
115
+ },
116
+ "14": {
117
+ "content": "<jupyter_output>",
118
+ "lstrip": false,
119
+ "normalized": false,
120
+ "rstrip": false,
121
+ "single_word": false,
122
+ "special": true
123
+ },
124
+ "15": {
125
+ "content": "<jupyter_script>",
126
+ "lstrip": false,
127
+ "normalized": false,
128
+ "rstrip": false,
129
+ "single_word": false,
130
+ "special": true
131
+ },
132
+ "16": {
133
+ "content": "<empty_output>",
134
+ "lstrip": false,
135
+ "normalized": false,
136
+ "rstrip": false,
137
+ "single_word": false,
138
+ "special": true
139
+ }
140
+ },
141
+ "additional_special_tokens": [
142
+ "<|endoftext|>",
143
+ "<|im_start|>",
144
+ "<|im_end|>",
145
+ "<repo_name>",
146
+ "<reponame>",
147
+ "<file_sep>",
148
+ "<filename>",
149
+ "<gh_stars>",
150
+ "<issue_start>",
151
+ "<issue_comment>",
152
+ "<issue_closed>",
153
+ "<jupyter_start>",
154
+ "<jupyter_text>",
155
+ "<jupyter_code>",
156
+ "<jupyter_output>",
157
+ "<jupyter_script>",
158
+ "<empty_output>"
159
+ ],
160
+ "bos_token": "<|endoftext|>",
161
+ "clean_up_tokenization_spaces": false,
162
+ "eos_token": "<|endoftext|>",
163
+ "extra_special_tokens": {},
164
+ "model_max_length": 8192,
165
+ "pad_token": "<|endoftext|>",
166
+ "padding_side": "right",
167
+ "tokenizer_class": "GPT2Tokenizer",
168
+ "unk_token": "<|endoftext|>",
169
+ "vocab_size": 49152
170
+ }
trainer_state.json ADDED
@@ -0,0 +1,1434 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_global_step": null,
3
+ "best_metric": null,
4
+ "best_model_checkpoint": null,
5
+ "epoch": 1.0661333333333334,
6
+ "eval_steps": 500,
7
+ "global_step": 1000,
8
+ "is_hyper_param_search": false,
9
+ "is_local_process_zero": true,
10
+ "is_world_process_zero": true,
11
+ "log_history": [
12
+ {
13
+ "epoch": 0.005333333333333333,
14
+ "grad_norm": 2.4738848209381104,
15
+ "learning_rate": 8.000000000000001e-06,
16
+ "loss": 1.5025,
17
+ "step": 5
18
+ },
19
+ {
20
+ "epoch": 0.010666666666666666,
21
+ "grad_norm": 1.762861967086792,
22
+ "learning_rate": 1.8e-05,
23
+ "loss": 1.2897,
24
+ "step": 10
25
+ },
26
+ {
27
+ "epoch": 0.016,
28
+ "grad_norm": 1.465779185295105,
29
+ "learning_rate": 1.991919191919192e-05,
30
+ "loss": 1.1928,
31
+ "step": 15
32
+ },
33
+ {
34
+ "epoch": 0.021333333333333333,
35
+ "grad_norm": 1.7229000329971313,
36
+ "learning_rate": 1.981818181818182e-05,
37
+ "loss": 1.0474,
38
+ "step": 20
39
+ },
40
+ {
41
+ "epoch": 0.02666666666666667,
42
+ "grad_norm": 1.2843865156173706,
43
+ "learning_rate": 1.971717171717172e-05,
44
+ "loss": 0.9795,
45
+ "step": 25
46
+ },
47
+ {
48
+ "epoch": 0.032,
49
+ "grad_norm": 1.413460612297058,
50
+ "learning_rate": 1.961616161616162e-05,
51
+ "loss": 1.0109,
52
+ "step": 30
53
+ },
54
+ {
55
+ "epoch": 0.037333333333333336,
56
+ "grad_norm": 1.5748860836029053,
57
+ "learning_rate": 1.9515151515151515e-05,
58
+ "loss": 1.0093,
59
+ "step": 35
60
+ },
61
+ {
62
+ "epoch": 0.042666666666666665,
63
+ "grad_norm": 1.2138009071350098,
64
+ "learning_rate": 1.9414141414141418e-05,
65
+ "loss": 0.9596,
66
+ "step": 40
67
+ },
68
+ {
69
+ "epoch": 0.048,
70
+ "grad_norm": 1.0399284362792969,
71
+ "learning_rate": 1.9313131313131314e-05,
72
+ "loss": 0.9827,
73
+ "step": 45
74
+ },
75
+ {
76
+ "epoch": 0.05333333333333334,
77
+ "grad_norm": 1.0604643821716309,
78
+ "learning_rate": 1.9212121212121213e-05,
79
+ "loss": 0.9304,
80
+ "step": 50
81
+ },
82
+ {
83
+ "epoch": 0.058666666666666666,
84
+ "grad_norm": 0.8343395590782166,
85
+ "learning_rate": 1.9111111111111113e-05,
86
+ "loss": 0.8937,
87
+ "step": 55
88
+ },
89
+ {
90
+ "epoch": 0.064,
91
+ "grad_norm": 1.1488970518112183,
92
+ "learning_rate": 1.9010101010101012e-05,
93
+ "loss": 0.9515,
94
+ "step": 60
95
+ },
96
+ {
97
+ "epoch": 0.06933333333333333,
98
+ "grad_norm": 1.1441693305969238,
99
+ "learning_rate": 1.8909090909090912e-05,
100
+ "loss": 0.915,
101
+ "step": 65
102
+ },
103
+ {
104
+ "epoch": 0.07466666666666667,
105
+ "grad_norm": 1.1136934757232666,
106
+ "learning_rate": 1.8808080808080808e-05,
107
+ "loss": 0.9305,
108
+ "step": 70
109
+ },
110
+ {
111
+ "epoch": 0.08,
112
+ "grad_norm": 1.0539132356643677,
113
+ "learning_rate": 1.8707070707070707e-05,
114
+ "loss": 0.7912,
115
+ "step": 75
116
+ },
117
+ {
118
+ "epoch": 0.08533333333333333,
119
+ "grad_norm": 1.0501577854156494,
120
+ "learning_rate": 1.8606060606060607e-05,
121
+ "loss": 0.8899,
122
+ "step": 80
123
+ },
124
+ {
125
+ "epoch": 0.09066666666666667,
126
+ "grad_norm": 0.6856658458709717,
127
+ "learning_rate": 1.8505050505050506e-05,
128
+ "loss": 0.8848,
129
+ "step": 85
130
+ },
131
+ {
132
+ "epoch": 0.096,
133
+ "grad_norm": 0.9410535097122192,
134
+ "learning_rate": 1.8404040404040406e-05,
135
+ "loss": 0.8597,
136
+ "step": 90
137
+ },
138
+ {
139
+ "epoch": 0.10133333333333333,
140
+ "grad_norm": 1.2408137321472168,
141
+ "learning_rate": 1.8303030303030305e-05,
142
+ "loss": 1.0193,
143
+ "step": 95
144
+ },
145
+ {
146
+ "epoch": 0.10666666666666667,
147
+ "grad_norm": 0.8570374846458435,
148
+ "learning_rate": 1.82020202020202e-05,
149
+ "loss": 0.9621,
150
+ "step": 100
151
+ },
152
+ {
153
+ "epoch": 0.112,
154
+ "grad_norm": 1.2646375894546509,
155
+ "learning_rate": 1.8101010101010104e-05,
156
+ "loss": 0.9349,
157
+ "step": 105
158
+ },
159
+ {
160
+ "epoch": 0.11733333333333333,
161
+ "grad_norm": 0.8542080521583557,
162
+ "learning_rate": 1.8e-05,
163
+ "loss": 0.9479,
164
+ "step": 110
165
+ },
166
+ {
167
+ "epoch": 0.12266666666666666,
168
+ "grad_norm": 1.0172573328018188,
169
+ "learning_rate": 1.78989898989899e-05,
170
+ "loss": 0.8842,
171
+ "step": 115
172
+ },
173
+ {
174
+ "epoch": 0.128,
175
+ "grad_norm": 1.1216251850128174,
176
+ "learning_rate": 1.77979797979798e-05,
177
+ "loss": 0.9307,
178
+ "step": 120
179
+ },
180
+ {
181
+ "epoch": 0.13333333333333333,
182
+ "grad_norm": 1.1146503686904907,
183
+ "learning_rate": 1.76969696969697e-05,
184
+ "loss": 0.8582,
185
+ "step": 125
186
+ },
187
+ {
188
+ "epoch": 0.13866666666666666,
189
+ "grad_norm": 0.9401494860649109,
190
+ "learning_rate": 1.75959595959596e-05,
191
+ "loss": 0.8146,
192
+ "step": 130
193
+ },
194
+ {
195
+ "epoch": 0.144,
196
+ "grad_norm": 1.0174555778503418,
197
+ "learning_rate": 1.7494949494949494e-05,
198
+ "loss": 0.8064,
199
+ "step": 135
200
+ },
201
+ {
202
+ "epoch": 0.14933333333333335,
203
+ "grad_norm": 0.7621330618858337,
204
+ "learning_rate": 1.7393939393939397e-05,
205
+ "loss": 0.8382,
206
+ "step": 140
207
+ },
208
+ {
209
+ "epoch": 0.15466666666666667,
210
+ "grad_norm": 1.1294023990631104,
211
+ "learning_rate": 1.7292929292929293e-05,
212
+ "loss": 0.9458,
213
+ "step": 145
214
+ },
215
+ {
216
+ "epoch": 0.16,
217
+ "grad_norm": 0.7517912983894348,
218
+ "learning_rate": 1.7191919191919193e-05,
219
+ "loss": 0.797,
220
+ "step": 150
221
+ },
222
+ {
223
+ "epoch": 0.16533333333333333,
224
+ "grad_norm": 1.0522116422653198,
225
+ "learning_rate": 1.7090909090909092e-05,
226
+ "loss": 0.96,
227
+ "step": 155
228
+ },
229
+ {
230
+ "epoch": 0.17066666666666666,
231
+ "grad_norm": 0.9202107787132263,
232
+ "learning_rate": 1.6989898989898992e-05,
233
+ "loss": 0.8193,
234
+ "step": 160
235
+ },
236
+ {
237
+ "epoch": 0.176,
238
+ "grad_norm": 0.7169008851051331,
239
+ "learning_rate": 1.688888888888889e-05,
240
+ "loss": 0.9014,
241
+ "step": 165
242
+ },
243
+ {
244
+ "epoch": 0.18133333333333335,
245
+ "grad_norm": 1.011110782623291,
246
+ "learning_rate": 1.6787878787878787e-05,
247
+ "loss": 0.8433,
248
+ "step": 170
249
+ },
250
+ {
251
+ "epoch": 0.18666666666666668,
252
+ "grad_norm": 0.9050607681274414,
253
+ "learning_rate": 1.668686868686869e-05,
254
+ "loss": 0.9545,
255
+ "step": 175
256
+ },
257
+ {
258
+ "epoch": 0.192,
259
+ "grad_norm": 0.8567696809768677,
260
+ "learning_rate": 1.6585858585858586e-05,
261
+ "loss": 0.8788,
262
+ "step": 180
263
+ },
264
+ {
265
+ "epoch": 0.19733333333333333,
266
+ "grad_norm": 0.8334883451461792,
267
+ "learning_rate": 1.6484848484848486e-05,
268
+ "loss": 0.8851,
269
+ "step": 185
270
+ },
271
+ {
272
+ "epoch": 0.20266666666666666,
273
+ "grad_norm": 1.0018478631973267,
274
+ "learning_rate": 1.6383838383838385e-05,
275
+ "loss": 0.9585,
276
+ "step": 190
277
+ },
278
+ {
279
+ "epoch": 0.208,
280
+ "grad_norm": 0.9261645078659058,
281
+ "learning_rate": 1.6282828282828285e-05,
282
+ "loss": 0.9198,
283
+ "step": 195
284
+ },
285
+ {
286
+ "epoch": 0.21333333333333335,
287
+ "grad_norm": 1.0422159433364868,
288
+ "learning_rate": 1.6181818181818184e-05,
289
+ "loss": 0.8987,
290
+ "step": 200
291
+ },
292
+ {
293
+ "epoch": 0.21866666666666668,
294
+ "grad_norm": 1.1883363723754883,
295
+ "learning_rate": 1.608080808080808e-05,
296
+ "loss": 0.8344,
297
+ "step": 205
298
+ },
299
+ {
300
+ "epoch": 0.224,
301
+ "grad_norm": 1.0698201656341553,
302
+ "learning_rate": 1.5979797979797983e-05,
303
+ "loss": 0.9163,
304
+ "step": 210
305
+ },
306
+ {
307
+ "epoch": 0.22933333333333333,
308
+ "grad_norm": 1.002856969833374,
309
+ "learning_rate": 1.587878787878788e-05,
310
+ "loss": 0.8067,
311
+ "step": 215
312
+ },
313
+ {
314
+ "epoch": 0.23466666666666666,
315
+ "grad_norm": 0.7221589684486389,
316
+ "learning_rate": 1.577777777777778e-05,
317
+ "loss": 0.7832,
318
+ "step": 220
319
+ },
320
+ {
321
+ "epoch": 0.24,
322
+ "grad_norm": 0.9534178376197815,
323
+ "learning_rate": 1.5676767676767678e-05,
324
+ "loss": 0.9086,
325
+ "step": 225
326
+ },
327
+ {
328
+ "epoch": 0.24533333333333332,
329
+ "grad_norm": 0.768618106842041,
330
+ "learning_rate": 1.5575757575757578e-05,
331
+ "loss": 0.8779,
332
+ "step": 230
333
+ },
334
+ {
335
+ "epoch": 0.25066666666666665,
336
+ "grad_norm": 1.1509809494018555,
337
+ "learning_rate": 1.5474747474747477e-05,
338
+ "loss": 0.8655,
339
+ "step": 235
340
+ },
341
+ {
342
+ "epoch": 0.256,
343
+ "grad_norm": 1.124725103378296,
344
+ "learning_rate": 1.5373737373737373e-05,
345
+ "loss": 0.9216,
346
+ "step": 240
347
+ },
348
+ {
349
+ "epoch": 0.2613333333333333,
350
+ "grad_norm": 1.2690633535385132,
351
+ "learning_rate": 1.5272727272727276e-05,
352
+ "loss": 1.0696,
353
+ "step": 245
354
+ },
355
+ {
356
+ "epoch": 0.26666666666666666,
357
+ "grad_norm": 0.8243642449378967,
358
+ "learning_rate": 1.5171717171717172e-05,
359
+ "loss": 0.8819,
360
+ "step": 250
361
+ },
362
+ {
363
+ "epoch": 0.272,
364
+ "grad_norm": 1.029197335243225,
365
+ "learning_rate": 1.5070707070707072e-05,
366
+ "loss": 0.8729,
367
+ "step": 255
368
+ },
369
+ {
370
+ "epoch": 0.2773333333333333,
371
+ "grad_norm": 1.1257883310317993,
372
+ "learning_rate": 1.4969696969696971e-05,
373
+ "loss": 0.8183,
374
+ "step": 260
375
+ },
376
+ {
377
+ "epoch": 0.2826666666666667,
378
+ "grad_norm": 1.0707664489746094,
379
+ "learning_rate": 1.486868686868687e-05,
380
+ "loss": 0.9269,
381
+ "step": 265
382
+ },
383
+ {
384
+ "epoch": 0.288,
385
+ "grad_norm": 0.7989206314086914,
386
+ "learning_rate": 1.4767676767676769e-05,
387
+ "loss": 0.7724,
388
+ "step": 270
389
+ },
390
+ {
391
+ "epoch": 0.29333333333333333,
392
+ "grad_norm": 1.036672830581665,
393
+ "learning_rate": 1.4666666666666666e-05,
394
+ "loss": 0.9049,
395
+ "step": 275
396
+ },
397
+ {
398
+ "epoch": 0.2986666666666667,
399
+ "grad_norm": 1.2170835733413696,
400
+ "learning_rate": 1.4565656565656567e-05,
401
+ "loss": 0.8528,
402
+ "step": 280
403
+ },
404
+ {
405
+ "epoch": 0.304,
406
+ "grad_norm": 0.8174688816070557,
407
+ "learning_rate": 1.4464646464646465e-05,
408
+ "loss": 0.814,
409
+ "step": 285
410
+ },
411
+ {
412
+ "epoch": 0.30933333333333335,
413
+ "grad_norm": 1.1070367097854614,
414
+ "learning_rate": 1.4363636363636365e-05,
415
+ "loss": 0.8746,
416
+ "step": 290
417
+ },
418
+ {
419
+ "epoch": 0.31466666666666665,
420
+ "grad_norm": 0.904995322227478,
421
+ "learning_rate": 1.4262626262626264e-05,
422
+ "loss": 0.917,
423
+ "step": 295
424
+ },
425
+ {
426
+ "epoch": 0.32,
427
+ "grad_norm": 0.7519875764846802,
428
+ "learning_rate": 1.4161616161616164e-05,
429
+ "loss": 0.7766,
430
+ "step": 300
431
+ },
432
+ {
433
+ "epoch": 0.3253333333333333,
434
+ "grad_norm": 0.8368961215019226,
435
+ "learning_rate": 1.4060606060606061e-05,
436
+ "loss": 0.8573,
437
+ "step": 305
438
+ },
439
+ {
440
+ "epoch": 0.33066666666666666,
441
+ "grad_norm": 0.9424313306808472,
442
+ "learning_rate": 1.3959595959595963e-05,
443
+ "loss": 0.8728,
444
+ "step": 310
445
+ },
446
+ {
447
+ "epoch": 0.336,
448
+ "grad_norm": 1.1850807666778564,
449
+ "learning_rate": 1.385858585858586e-05,
450
+ "loss": 0.8281,
451
+ "step": 315
452
+ },
453
+ {
454
+ "epoch": 0.3413333333333333,
455
+ "grad_norm": 0.765692949295044,
456
+ "learning_rate": 1.3757575757575758e-05,
457
+ "loss": 0.9035,
458
+ "step": 320
459
+ },
460
+ {
461
+ "epoch": 0.3466666666666667,
462
+ "grad_norm": 1.218376636505127,
463
+ "learning_rate": 1.3656565656565656e-05,
464
+ "loss": 0.8927,
465
+ "step": 325
466
+ },
467
+ {
468
+ "epoch": 0.352,
469
+ "grad_norm": 0.9827937483787537,
470
+ "learning_rate": 1.3555555555555557e-05,
471
+ "loss": 0.9812,
472
+ "step": 330
473
+ },
474
+ {
475
+ "epoch": 0.35733333333333334,
476
+ "grad_norm": 0.7617772221565247,
477
+ "learning_rate": 1.3454545454545455e-05,
478
+ "loss": 0.8899,
479
+ "step": 335
480
+ },
481
+ {
482
+ "epoch": 0.3626666666666667,
483
+ "grad_norm": 1.2161617279052734,
484
+ "learning_rate": 1.3353535353535354e-05,
485
+ "loss": 0.8615,
486
+ "step": 340
487
+ },
488
+ {
489
+ "epoch": 0.368,
490
+ "grad_norm": 1.0964343547821045,
491
+ "learning_rate": 1.3252525252525254e-05,
492
+ "loss": 0.8452,
493
+ "step": 345
494
+ },
495
+ {
496
+ "epoch": 0.37333333333333335,
497
+ "grad_norm": 1.0064449310302734,
498
+ "learning_rate": 1.3151515151515153e-05,
499
+ "loss": 0.7828,
500
+ "step": 350
501
+ },
502
+ {
503
+ "epoch": 0.37866666666666665,
504
+ "grad_norm": 1.4947946071624756,
505
+ "learning_rate": 1.3050505050505051e-05,
506
+ "loss": 0.8614,
507
+ "step": 355
508
+ },
509
+ {
510
+ "epoch": 0.384,
511
+ "grad_norm": 0.8540753722190857,
512
+ "learning_rate": 1.2949494949494949e-05,
513
+ "loss": 0.947,
514
+ "step": 360
515
+ },
516
+ {
517
+ "epoch": 0.3893333333333333,
518
+ "grad_norm": 1.0984326601028442,
519
+ "learning_rate": 1.284848484848485e-05,
520
+ "loss": 0.83,
521
+ "step": 365
522
+ },
523
+ {
524
+ "epoch": 0.39466666666666667,
525
+ "grad_norm": 1.2395354509353638,
526
+ "learning_rate": 1.2747474747474748e-05,
527
+ "loss": 0.8367,
528
+ "step": 370
529
+ },
530
+ {
531
+ "epoch": 0.4,
532
+ "grad_norm": 1.0039360523223877,
533
+ "learning_rate": 1.2646464646464647e-05,
534
+ "loss": 0.8774,
535
+ "step": 375
536
+ },
537
+ {
538
+ "epoch": 0.4053333333333333,
539
+ "grad_norm": 0.863132655620575,
540
+ "learning_rate": 1.2545454545454547e-05,
541
+ "loss": 0.9715,
542
+ "step": 380
543
+ },
544
+ {
545
+ "epoch": 0.4106666666666667,
546
+ "grad_norm": 1.2156693935394287,
547
+ "learning_rate": 1.2444444444444446e-05,
548
+ "loss": 0.9005,
549
+ "step": 385
550
+ },
551
+ {
552
+ "epoch": 0.416,
553
+ "grad_norm": 1.049648642539978,
554
+ "learning_rate": 1.2343434343434344e-05,
555
+ "loss": 0.7847,
556
+ "step": 390
557
+ },
558
+ {
559
+ "epoch": 0.42133333333333334,
560
+ "grad_norm": 1.1432439088821411,
561
+ "learning_rate": 1.2242424242424242e-05,
562
+ "loss": 0.9426,
563
+ "step": 395
564
+ },
565
+ {
566
+ "epoch": 0.4266666666666667,
567
+ "grad_norm": 1.164472222328186,
568
+ "learning_rate": 1.2141414141414143e-05,
569
+ "loss": 0.7819,
570
+ "step": 400
571
+ },
572
+ {
573
+ "epoch": 0.432,
574
+ "grad_norm": 1.2343779802322388,
575
+ "learning_rate": 1.2040404040404041e-05,
576
+ "loss": 0.9257,
577
+ "step": 405
578
+ },
579
+ {
580
+ "epoch": 0.43733333333333335,
581
+ "grad_norm": 0.9872158169746399,
582
+ "learning_rate": 1.193939393939394e-05,
583
+ "loss": 0.8634,
584
+ "step": 410
585
+ },
586
+ {
587
+ "epoch": 0.44266666666666665,
588
+ "grad_norm": 1.0840346813201904,
589
+ "learning_rate": 1.183838383838384e-05,
590
+ "loss": 0.8683,
591
+ "step": 415
592
+ },
593
+ {
594
+ "epoch": 0.448,
595
+ "grad_norm": 0.9825693964958191,
596
+ "learning_rate": 1.1737373737373738e-05,
597
+ "loss": 0.8948,
598
+ "step": 420
599
+ },
600
+ {
601
+ "epoch": 0.4533333333333333,
602
+ "grad_norm": 1.0183353424072266,
603
+ "learning_rate": 1.1636363636363637e-05,
604
+ "loss": 0.8223,
605
+ "step": 425
606
+ },
607
+ {
608
+ "epoch": 0.45866666666666667,
609
+ "grad_norm": 1.3394027948379517,
610
+ "learning_rate": 1.1535353535353537e-05,
611
+ "loss": 0.9228,
612
+ "step": 430
613
+ },
614
+ {
615
+ "epoch": 0.464,
616
+ "grad_norm": 1.4407519102096558,
617
+ "learning_rate": 1.1434343434343436e-05,
618
+ "loss": 0.9024,
619
+ "step": 435
620
+ },
621
+ {
622
+ "epoch": 0.4693333333333333,
623
+ "grad_norm": 0.9945356249809265,
624
+ "learning_rate": 1.1333333333333334e-05,
625
+ "loss": 0.9539,
626
+ "step": 440
627
+ },
628
+ {
629
+ "epoch": 0.4746666666666667,
630
+ "grad_norm": 0.9333862066268921,
631
+ "learning_rate": 1.1232323232323232e-05,
632
+ "loss": 0.9207,
633
+ "step": 445
634
+ },
635
+ {
636
+ "epoch": 0.48,
637
+ "grad_norm": 1.0179983377456665,
638
+ "learning_rate": 1.1131313131313133e-05,
639
+ "loss": 0.8696,
640
+ "step": 450
641
+ },
642
+ {
643
+ "epoch": 0.48533333333333334,
644
+ "grad_norm": 0.9237622022628784,
645
+ "learning_rate": 1.103030303030303e-05,
646
+ "loss": 0.8386,
647
+ "step": 455
648
+ },
649
+ {
650
+ "epoch": 0.49066666666666664,
651
+ "grad_norm": 1.4150505065917969,
652
+ "learning_rate": 1.092929292929293e-05,
653
+ "loss": 0.8134,
654
+ "step": 460
655
+ },
656
+ {
657
+ "epoch": 0.496,
658
+ "grad_norm": 1.1595478057861328,
659
+ "learning_rate": 1.082828282828283e-05,
660
+ "loss": 0.9826,
661
+ "step": 465
662
+ },
663
+ {
664
+ "epoch": 0.5013333333333333,
665
+ "grad_norm": 0.8624115586280823,
666
+ "learning_rate": 1.0727272727272729e-05,
667
+ "loss": 0.8796,
668
+ "step": 470
669
+ },
670
+ {
671
+ "epoch": 0.5066666666666667,
672
+ "grad_norm": 1.2092162370681763,
673
+ "learning_rate": 1.0626262626262627e-05,
674
+ "loss": 0.8048,
675
+ "step": 475
676
+ },
677
+ {
678
+ "epoch": 0.512,
679
+ "grad_norm": 0.9284762740135193,
680
+ "learning_rate": 1.0525252525252525e-05,
681
+ "loss": 0.8682,
682
+ "step": 480
683
+ },
684
+ {
685
+ "epoch": 0.5173333333333333,
686
+ "grad_norm": 0.9929215908050537,
687
+ "learning_rate": 1.0424242424242426e-05,
688
+ "loss": 0.8049,
689
+ "step": 485
690
+ },
691
+ {
692
+ "epoch": 0.5226666666666666,
693
+ "grad_norm": 0.8166928291320801,
694
+ "learning_rate": 1.0323232323232324e-05,
695
+ "loss": 0.8942,
696
+ "step": 490
697
+ },
698
+ {
699
+ "epoch": 0.528,
700
+ "grad_norm": 1.2903831005096436,
701
+ "learning_rate": 1.0222222222222223e-05,
702
+ "loss": 0.8789,
703
+ "step": 495
704
+ },
705
+ {
706
+ "epoch": 0.5333333333333333,
707
+ "grad_norm": 1.0434647798538208,
708
+ "learning_rate": 1.0121212121212122e-05,
709
+ "loss": 0.8461,
710
+ "step": 500
711
+ },
712
+ {
713
+ "epoch": 0.5386666666666666,
714
+ "grad_norm": 0.972468376159668,
715
+ "learning_rate": 1.0020202020202022e-05,
716
+ "loss": 0.8682,
717
+ "step": 505
718
+ },
719
+ {
720
+ "epoch": 0.544,
721
+ "grad_norm": 0.9738913774490356,
722
+ "learning_rate": 9.91919191919192e-06,
723
+ "loss": 0.8265,
724
+ "step": 510
725
+ },
726
+ {
727
+ "epoch": 0.5493333333333333,
728
+ "grad_norm": 0.9296156167984009,
729
+ "learning_rate": 9.81818181818182e-06,
730
+ "loss": 0.8982,
731
+ "step": 515
732
+ },
733
+ {
734
+ "epoch": 0.5546666666666666,
735
+ "grad_norm": 1.2416244745254517,
736
+ "learning_rate": 9.717171717171719e-06,
737
+ "loss": 0.9139,
738
+ "step": 520
739
+ },
740
+ {
741
+ "epoch": 0.56,
742
+ "grad_norm": 1.0624216794967651,
743
+ "learning_rate": 9.616161616161616e-06,
744
+ "loss": 0.8517,
745
+ "step": 525
746
+ },
747
+ {
748
+ "epoch": 0.5653333333333334,
749
+ "grad_norm": 1.0069383382797241,
750
+ "learning_rate": 9.515151515151516e-06,
751
+ "loss": 0.795,
752
+ "step": 530
753
+ },
754
+ {
755
+ "epoch": 0.5706666666666667,
756
+ "grad_norm": 1.1979533433914185,
757
+ "learning_rate": 9.414141414141414e-06,
758
+ "loss": 0.9108,
759
+ "step": 535
760
+ },
761
+ {
762
+ "epoch": 0.576,
763
+ "grad_norm": 0.9286126494407654,
764
+ "learning_rate": 9.313131313131313e-06,
765
+ "loss": 0.8306,
766
+ "step": 540
767
+ },
768
+ {
769
+ "epoch": 0.5813333333333334,
770
+ "grad_norm": 0.7917994856834412,
771
+ "learning_rate": 9.212121212121213e-06,
772
+ "loss": 0.7851,
773
+ "step": 545
774
+ },
775
+ {
776
+ "epoch": 0.5866666666666667,
777
+ "grad_norm": 0.8463285565376282,
778
+ "learning_rate": 9.111111111111112e-06,
779
+ "loss": 0.832,
780
+ "step": 550
781
+ },
782
+ {
783
+ "epoch": 0.592,
784
+ "grad_norm": 1.27468740940094,
785
+ "learning_rate": 9.010101010101012e-06,
786
+ "loss": 0.869,
787
+ "step": 555
788
+ },
789
+ {
790
+ "epoch": 0.5973333333333334,
791
+ "grad_norm": 1.0297528505325317,
792
+ "learning_rate": 8.90909090909091e-06,
793
+ "loss": 0.9043,
794
+ "step": 560
795
+ },
796
+ {
797
+ "epoch": 0.6026666666666667,
798
+ "grad_norm": 0.8308903574943542,
799
+ "learning_rate": 8.808080808080809e-06,
800
+ "loss": 0.8519,
801
+ "step": 565
802
+ },
803
+ {
804
+ "epoch": 0.608,
805
+ "grad_norm": 0.9006770253181458,
806
+ "learning_rate": 8.707070707070707e-06,
807
+ "loss": 0.8895,
808
+ "step": 570
809
+ },
810
+ {
811
+ "epoch": 0.6133333333333333,
812
+ "grad_norm": 1.1715490818023682,
813
+ "learning_rate": 8.606060606060606e-06,
814
+ "loss": 0.8492,
815
+ "step": 575
816
+ },
817
+ {
818
+ "epoch": 0.6186666666666667,
819
+ "grad_norm": 0.8065097332000732,
820
+ "learning_rate": 8.505050505050506e-06,
821
+ "loss": 0.8648,
822
+ "step": 580
823
+ },
824
+ {
825
+ "epoch": 0.624,
826
+ "grad_norm": 0.9490070939064026,
827
+ "learning_rate": 8.404040404040405e-06,
828
+ "loss": 0.795,
829
+ "step": 585
830
+ },
831
+ {
832
+ "epoch": 0.6293333333333333,
833
+ "grad_norm": 1.0947188138961792,
834
+ "learning_rate": 8.303030303030305e-06,
835
+ "loss": 0.7346,
836
+ "step": 590
837
+ },
838
+ {
839
+ "epoch": 0.6346666666666667,
840
+ "grad_norm": 1.0606298446655273,
841
+ "learning_rate": 8.202020202020202e-06,
842
+ "loss": 0.9237,
843
+ "step": 595
844
+ },
845
+ {
846
+ "epoch": 0.64,
847
+ "grad_norm": 0.9873263835906982,
848
+ "learning_rate": 8.101010101010102e-06,
849
+ "loss": 0.9915,
850
+ "step": 600
851
+ },
852
+ {
853
+ "epoch": 0.6453333333333333,
854
+ "grad_norm": 0.9560549259185791,
855
+ "learning_rate": 8.000000000000001e-06,
856
+ "loss": 0.7971,
857
+ "step": 605
858
+ },
859
+ {
860
+ "epoch": 0.6506666666666666,
861
+ "grad_norm": 1.2028638124465942,
862
+ "learning_rate": 7.898989898989899e-06,
863
+ "loss": 0.7819,
864
+ "step": 610
865
+ },
866
+ {
867
+ "epoch": 0.656,
868
+ "grad_norm": 1.0080317258834839,
869
+ "learning_rate": 7.797979797979799e-06,
870
+ "loss": 0.8223,
871
+ "step": 615
872
+ },
873
+ {
874
+ "epoch": 0.6613333333333333,
875
+ "grad_norm": 0.9599475860595703,
876
+ "learning_rate": 7.696969696969696e-06,
877
+ "loss": 0.8422,
878
+ "step": 620
879
+ },
880
+ {
881
+ "epoch": 0.6666666666666666,
882
+ "grad_norm": 1.0259417295455933,
883
+ "learning_rate": 7.595959595959597e-06,
884
+ "loss": 0.9836,
885
+ "step": 625
886
+ },
887
+ {
888
+ "epoch": 0.672,
889
+ "grad_norm": 1.113824725151062,
890
+ "learning_rate": 7.494949494949496e-06,
891
+ "loss": 0.8655,
892
+ "step": 630
893
+ },
894
+ {
895
+ "epoch": 0.6773333333333333,
896
+ "grad_norm": 0.8223950862884521,
897
+ "learning_rate": 7.393939393939395e-06,
898
+ "loss": 0.8567,
899
+ "step": 635
900
+ },
901
+ {
902
+ "epoch": 0.6826666666666666,
903
+ "grad_norm": 1.1319419145584106,
904
+ "learning_rate": 7.2929292929292934e-06,
905
+ "loss": 0.8633,
906
+ "step": 640
907
+ },
908
+ {
909
+ "epoch": 0.688,
910
+ "grad_norm": 0.8816436529159546,
911
+ "learning_rate": 7.191919191919192e-06,
912
+ "loss": 0.903,
913
+ "step": 645
914
+ },
915
+ {
916
+ "epoch": 0.6933333333333334,
917
+ "grad_norm": 1.0808554887771606,
918
+ "learning_rate": 7.0909090909090916e-06,
919
+ "loss": 0.9254,
920
+ "step": 650
921
+ },
922
+ {
923
+ "epoch": 0.6986666666666667,
924
+ "grad_norm": 1.1340079307556152,
925
+ "learning_rate": 6.98989898989899e-06,
926
+ "loss": 0.8754,
927
+ "step": 655
928
+ },
929
+ {
930
+ "epoch": 0.704,
931
+ "grad_norm": 1.224582552909851,
932
+ "learning_rate": 6.88888888888889e-06,
933
+ "loss": 0.8347,
934
+ "step": 660
935
+ },
936
+ {
937
+ "epoch": 0.7093333333333334,
938
+ "grad_norm": 0.9325499534606934,
939
+ "learning_rate": 6.787878787878789e-06,
940
+ "loss": 0.7935,
941
+ "step": 665
942
+ },
943
+ {
944
+ "epoch": 0.7146666666666667,
945
+ "grad_norm": 0.9719834327697754,
946
+ "learning_rate": 6.686868686868687e-06,
947
+ "loss": 0.8681,
948
+ "step": 670
949
+ },
950
+ {
951
+ "epoch": 0.72,
952
+ "grad_norm": 1.4015077352523804,
953
+ "learning_rate": 6.585858585858586e-06,
954
+ "loss": 0.888,
955
+ "step": 675
956
+ },
957
+ {
958
+ "epoch": 0.7253333333333334,
959
+ "grad_norm": 0.9711169600486755,
960
+ "learning_rate": 6.484848484848485e-06,
961
+ "loss": 0.7781,
962
+ "step": 680
963
+ },
964
+ {
965
+ "epoch": 0.7306666666666667,
966
+ "grad_norm": 0.9830993413925171,
967
+ "learning_rate": 6.3838383838383845e-06,
968
+ "loss": 0.8873,
969
+ "step": 685
970
+ },
971
+ {
972
+ "epoch": 0.736,
973
+ "grad_norm": 0.8597604036331177,
974
+ "learning_rate": 6.282828282828284e-06,
975
+ "loss": 0.8737,
976
+ "step": 690
977
+ },
978
+ {
979
+ "epoch": 0.7413333333333333,
980
+ "grad_norm": 0.9294617176055908,
981
+ "learning_rate": 6.181818181818182e-06,
982
+ "loss": 0.8893,
983
+ "step": 695
984
+ },
985
+ {
986
+ "epoch": 0.7466666666666667,
987
+ "grad_norm": 1.1625323295593262,
988
+ "learning_rate": 6.080808080808081e-06,
989
+ "loss": 0.8904,
990
+ "step": 700
991
+ },
992
+ {
993
+ "epoch": 0.752,
994
+ "grad_norm": 1.0210480690002441,
995
+ "learning_rate": 5.97979797979798e-06,
996
+ "loss": 0.8765,
997
+ "step": 705
998
+ },
999
+ {
1000
+ "epoch": 0.7573333333333333,
1001
+ "grad_norm": 0.7847772836685181,
1002
+ "learning_rate": 5.878787878787879e-06,
1003
+ "loss": 0.8991,
1004
+ "step": 710
1005
+ },
1006
+ {
1007
+ "epoch": 0.7626666666666667,
1008
+ "grad_norm": 0.8487206101417542,
1009
+ "learning_rate": 5.777777777777778e-06,
1010
+ "loss": 0.8719,
1011
+ "step": 715
1012
+ },
1013
+ {
1014
+ "epoch": 0.768,
1015
+ "grad_norm": 1.0782289505004883,
1016
+ "learning_rate": 5.6767676767676775e-06,
1017
+ "loss": 0.9476,
1018
+ "step": 720
1019
+ },
1020
+ {
1021
+ "epoch": 0.7733333333333333,
1022
+ "grad_norm": 0.8383185863494873,
1023
+ "learning_rate": 5.575757575757577e-06,
1024
+ "loss": 0.9005,
1025
+ "step": 725
1026
+ },
1027
+ {
1028
+ "epoch": 0.7786666666666666,
1029
+ "grad_norm": 0.9511837959289551,
1030
+ "learning_rate": 5.474747474747475e-06,
1031
+ "loss": 0.8537,
1032
+ "step": 730
1033
+ },
1034
+ {
1035
+ "epoch": 0.784,
1036
+ "grad_norm": 0.9537941217422485,
1037
+ "learning_rate": 5.373737373737374e-06,
1038
+ "loss": 0.8271,
1039
+ "step": 735
1040
+ },
1041
+ {
1042
+ "epoch": 0.7893333333333333,
1043
+ "grad_norm": 0.9680099487304688,
1044
+ "learning_rate": 5.272727272727273e-06,
1045
+ "loss": 0.9019,
1046
+ "step": 740
1047
+ },
1048
+ {
1049
+ "epoch": 0.7946666666666666,
1050
+ "grad_norm": 1.2555571794509888,
1051
+ "learning_rate": 5.171717171717172e-06,
1052
+ "loss": 0.8673,
1053
+ "step": 745
1054
+ },
1055
+ {
1056
+ "epoch": 0.8,
1057
+ "grad_norm": 0.7768434882164001,
1058
+ "learning_rate": 5.070707070707072e-06,
1059
+ "loss": 0.9226,
1060
+ "step": 750
1061
+ },
1062
+ {
1063
+ "epoch": 0.8053333333333333,
1064
+ "grad_norm": 1.1545368432998657,
1065
+ "learning_rate": 4.9696969696969696e-06,
1066
+ "loss": 0.8201,
1067
+ "step": 755
1068
+ },
1069
+ {
1070
+ "epoch": 0.8106666666666666,
1071
+ "grad_norm": 0.851765513420105,
1072
+ "learning_rate": 4.868686868686869e-06,
1073
+ "loss": 0.8186,
1074
+ "step": 760
1075
+ },
1076
+ {
1077
+ "epoch": 0.816,
1078
+ "grad_norm": 0.9723802804946899,
1079
+ "learning_rate": 4.7676767676767685e-06,
1080
+ "loss": 0.8291,
1081
+ "step": 765
1082
+ },
1083
+ {
1084
+ "epoch": 0.8213333333333334,
1085
+ "grad_norm": 0.7566186785697937,
1086
+ "learning_rate": 4.666666666666667e-06,
1087
+ "loss": 0.8934,
1088
+ "step": 770
1089
+ },
1090
+ {
1091
+ "epoch": 0.8266666666666667,
1092
+ "grad_norm": 0.7899064421653748,
1093
+ "learning_rate": 4.565656565656566e-06,
1094
+ "loss": 0.8575,
1095
+ "step": 775
1096
+ },
1097
+ {
1098
+ "epoch": 0.832,
1099
+ "grad_norm": 1.087303876876831,
1100
+ "learning_rate": 4.464646464646465e-06,
1101
+ "loss": 0.8575,
1102
+ "step": 780
1103
+ },
1104
+ {
1105
+ "epoch": 0.8373333333333334,
1106
+ "grad_norm": 0.807926595211029,
1107
+ "learning_rate": 4.363636363636364e-06,
1108
+ "loss": 0.7703,
1109
+ "step": 785
1110
+ },
1111
+ {
1112
+ "epoch": 0.8426666666666667,
1113
+ "grad_norm": 0.9844084978103638,
1114
+ "learning_rate": 4.262626262626263e-06,
1115
+ "loss": 0.7779,
1116
+ "step": 790
1117
+ },
1118
+ {
1119
+ "epoch": 0.848,
1120
+ "grad_norm": 0.8343420624732971,
1121
+ "learning_rate": 4.161616161616162e-06,
1122
+ "loss": 0.8949,
1123
+ "step": 795
1124
+ },
1125
+ {
1126
+ "epoch": 0.8533333333333334,
1127
+ "grad_norm": 1.2055128812789917,
1128
+ "learning_rate": 4.060606060606061e-06,
1129
+ "loss": 0.7553,
1130
+ "step": 800
1131
+ },
1132
+ {
1133
+ "epoch": 0.8586666666666667,
1134
+ "grad_norm": 0.968047022819519,
1135
+ "learning_rate": 3.95959595959596e-06,
1136
+ "loss": 0.8108,
1137
+ "step": 805
1138
+ },
1139
+ {
1140
+ "epoch": 0.864,
1141
+ "grad_norm": 0.948060154914856,
1142
+ "learning_rate": 3.858585858585859e-06,
1143
+ "loss": 0.8585,
1144
+ "step": 810
1145
+ },
1146
+ {
1147
+ "epoch": 0.8693333333333333,
1148
+ "grad_norm": 0.8615192174911499,
1149
+ "learning_rate": 3.757575757575758e-06,
1150
+ "loss": 0.8175,
1151
+ "step": 815
1152
+ },
1153
+ {
1154
+ "epoch": 0.8746666666666667,
1155
+ "grad_norm": 0.914496898651123,
1156
+ "learning_rate": 3.6565656565656573e-06,
1157
+ "loss": 0.9557,
1158
+ "step": 820
1159
+ },
1160
+ {
1161
+ "epoch": 0.88,
1162
+ "grad_norm": 1.2067431211471558,
1163
+ "learning_rate": 3.555555555555556e-06,
1164
+ "loss": 0.8405,
1165
+ "step": 825
1166
+ },
1167
+ {
1168
+ "epoch": 0.8853333333333333,
1169
+ "grad_norm": 0.8827077746391296,
1170
+ "learning_rate": 3.454545454545455e-06,
1171
+ "loss": 0.8386,
1172
+ "step": 830
1173
+ },
1174
+ {
1175
+ "epoch": 0.8906666666666667,
1176
+ "grad_norm": 0.7364902496337891,
1177
+ "learning_rate": 3.3535353535353536e-06,
1178
+ "loss": 0.831,
1179
+ "step": 835
1180
+ },
1181
+ {
1182
+ "epoch": 0.896,
1183
+ "grad_norm": 1.0300766229629517,
1184
+ "learning_rate": 3.2525252525252527e-06,
1185
+ "loss": 0.8218,
1186
+ "step": 840
1187
+ },
1188
+ {
1189
+ "epoch": 0.9013333333333333,
1190
+ "grad_norm": 0.9106561541557312,
1191
+ "learning_rate": 3.1515151515151517e-06,
1192
+ "loss": 0.8676,
1193
+ "step": 845
1194
+ },
1195
+ {
1196
+ "epoch": 0.9066666666666666,
1197
+ "grad_norm": 0.8100454807281494,
1198
+ "learning_rate": 3.0505050505050508e-06,
1199
+ "loss": 0.9044,
1200
+ "step": 850
1201
+ },
1202
+ {
1203
+ "epoch": 0.912,
1204
+ "grad_norm": 1.3117631673812866,
1205
+ "learning_rate": 2.94949494949495e-06,
1206
+ "loss": 0.9514,
1207
+ "step": 855
1208
+ },
1209
+ {
1210
+ "epoch": 0.9173333333333333,
1211
+ "grad_norm": 1.0472215414047241,
1212
+ "learning_rate": 2.848484848484849e-06,
1213
+ "loss": 0.8603,
1214
+ "step": 860
1215
+ },
1216
+ {
1217
+ "epoch": 0.9226666666666666,
1218
+ "grad_norm": 1.028141975402832,
1219
+ "learning_rate": 2.7474747474747475e-06,
1220
+ "loss": 0.8869,
1221
+ "step": 865
1222
+ },
1223
+ {
1224
+ "epoch": 0.928,
1225
+ "grad_norm": 0.998464047908783,
1226
+ "learning_rate": 2.6464646464646466e-06,
1227
+ "loss": 0.848,
1228
+ "step": 870
1229
+ },
1230
+ {
1231
+ "epoch": 0.9333333333333333,
1232
+ "grad_norm": 1.1285682916641235,
1233
+ "learning_rate": 2.5454545454545456e-06,
1234
+ "loss": 0.8082,
1235
+ "step": 875
1236
+ },
1237
+ {
1238
+ "epoch": 0.9386666666666666,
1239
+ "grad_norm": 0.9830065965652466,
1240
+ "learning_rate": 2.4444444444444447e-06,
1241
+ "loss": 0.8987,
1242
+ "step": 880
1243
+ },
1244
+ {
1245
+ "epoch": 0.944,
1246
+ "grad_norm": 1.0550012588500977,
1247
+ "learning_rate": 2.3434343434343437e-06,
1248
+ "loss": 0.8224,
1249
+ "step": 885
1250
+ },
1251
+ {
1252
+ "epoch": 0.9493333333333334,
1253
+ "grad_norm": 0.8792315125465393,
1254
+ "learning_rate": 2.2424242424242428e-06,
1255
+ "loss": 0.8516,
1256
+ "step": 890
1257
+ },
1258
+ {
1259
+ "epoch": 0.9546666666666667,
1260
+ "grad_norm": 0.6654003262519836,
1261
+ "learning_rate": 2.1414141414141414e-06,
1262
+ "loss": 0.7485,
1263
+ "step": 895
1264
+ },
1265
+ {
1266
+ "epoch": 0.96,
1267
+ "grad_norm": 1.0719987154006958,
1268
+ "learning_rate": 2.0404040404040405e-06,
1269
+ "loss": 0.8463,
1270
+ "step": 900
1271
+ },
1272
+ {
1273
+ "epoch": 0.9653333333333334,
1274
+ "grad_norm": 1.1467649936676025,
1275
+ "learning_rate": 1.9393939393939395e-06,
1276
+ "loss": 0.9567,
1277
+ "step": 905
1278
+ },
1279
+ {
1280
+ "epoch": 0.9706666666666667,
1281
+ "grad_norm": 0.8900359272956848,
1282
+ "learning_rate": 1.8383838383838384e-06,
1283
+ "loss": 0.878,
1284
+ "step": 910
1285
+ },
1286
+ {
1287
+ "epoch": 0.976,
1288
+ "grad_norm": 1.2061737775802612,
1289
+ "learning_rate": 1.7373737373737376e-06,
1290
+ "loss": 0.8797,
1291
+ "step": 915
1292
+ },
1293
+ {
1294
+ "epoch": 0.9813333333333333,
1295
+ "grad_norm": 1.2051506042480469,
1296
+ "learning_rate": 1.6363636363636365e-06,
1297
+ "loss": 0.8141,
1298
+ "step": 920
1299
+ },
1300
+ {
1301
+ "epoch": 0.9866666666666667,
1302
+ "grad_norm": 0.8060864210128784,
1303
+ "learning_rate": 1.5353535353535353e-06,
1304
+ "loss": 0.8634,
1305
+ "step": 925
1306
+ },
1307
+ {
1308
+ "epoch": 0.992,
1309
+ "grad_norm": 0.771790623664856,
1310
+ "learning_rate": 1.4343434343434346e-06,
1311
+ "loss": 0.8726,
1312
+ "step": 930
1313
+ },
1314
+ {
1315
+ "epoch": 0.9973333333333333,
1316
+ "grad_norm": 1.2868633270263672,
1317
+ "learning_rate": 1.3333333333333334e-06,
1318
+ "loss": 0.9364,
1319
+ "step": 935
1320
+ },
1321
+ {
1322
+ "epoch": 1.0021333333333333,
1323
+ "grad_norm": 1.3095135688781738,
1324
+ "learning_rate": 1.2323232323232325e-06,
1325
+ "loss": 0.9276,
1326
+ "step": 940
1327
+ },
1328
+ {
1329
+ "epoch": 1.0074666666666667,
1330
+ "grad_norm": 0.9930802583694458,
1331
+ "learning_rate": 1.1313131313131315e-06,
1332
+ "loss": 0.846,
1333
+ "step": 945
1334
+ },
1335
+ {
1336
+ "epoch": 1.0128,
1337
+ "grad_norm": 0.981325089931488,
1338
+ "learning_rate": 1.0303030303030304e-06,
1339
+ "loss": 0.883,
1340
+ "step": 950
1341
+ },
1342
+ {
1343
+ "epoch": 1.0181333333333333,
1344
+ "grad_norm": 1.0726372003555298,
1345
+ "learning_rate": 9.292929292929294e-07,
1346
+ "loss": 0.8267,
1347
+ "step": 955
1348
+ },
1349
+ {
1350
+ "epoch": 1.0234666666666667,
1351
+ "grad_norm": 0.901931881904602,
1352
+ "learning_rate": 8.282828282828284e-07,
1353
+ "loss": 0.8466,
1354
+ "step": 960
1355
+ },
1356
+ {
1357
+ "epoch": 1.0288,
1358
+ "grad_norm": 0.903892993927002,
1359
+ "learning_rate": 7.272727272727273e-07,
1360
+ "loss": 0.8166,
1361
+ "step": 965
1362
+ },
1363
+ {
1364
+ "epoch": 1.0341333333333333,
1365
+ "grad_norm": 0.79636549949646,
1366
+ "learning_rate": 6.262626262626264e-07,
1367
+ "loss": 0.806,
1368
+ "step": 970
1369
+ },
1370
+ {
1371
+ "epoch": 1.0394666666666668,
1372
+ "grad_norm": 1.0345975160598755,
1373
+ "learning_rate": 5.252525252525253e-07,
1374
+ "loss": 0.8705,
1375
+ "step": 975
1376
+ },
1377
+ {
1378
+ "epoch": 1.0448,
1379
+ "grad_norm": 1.2025350332260132,
1380
+ "learning_rate": 4.242424242424243e-07,
1381
+ "loss": 0.8698,
1382
+ "step": 980
1383
+ },
1384
+ {
1385
+ "epoch": 1.0501333333333334,
1386
+ "grad_norm": 1.1389521360397339,
1387
+ "learning_rate": 3.2323232323232327e-07,
1388
+ "loss": 0.8045,
1389
+ "step": 985
1390
+ },
1391
+ {
1392
+ "epoch": 1.0554666666666668,
1393
+ "grad_norm": 0.8924028873443604,
1394
+ "learning_rate": 2.2222222222222224e-07,
1395
+ "loss": 0.8208,
1396
+ "step": 990
1397
+ },
1398
+ {
1399
+ "epoch": 1.0608,
1400
+ "grad_norm": 1.2922968864440918,
1401
+ "learning_rate": 1.2121212121212122e-07,
1402
+ "loss": 0.848,
1403
+ "step": 995
1404
+ },
1405
+ {
1406
+ "epoch": 1.0661333333333334,
1407
+ "grad_norm": 0.7949049472808838,
1408
+ "learning_rate": 2.0202020202020204e-08,
1409
+ "loss": 0.8591,
1410
+ "step": 1000
1411
+ }
1412
+ ],
1413
+ "logging_steps": 5,
1414
+ "max_steps": 1000,
1415
+ "num_input_tokens_seen": 0,
1416
+ "num_train_epochs": 2,
1417
+ "save_steps": 500,
1418
+ "stateful_callbacks": {
1419
+ "TrainerControl": {
1420
+ "args": {
1421
+ "should_epoch_stop": false,
1422
+ "should_evaluate": false,
1423
+ "should_log": false,
1424
+ "should_save": true,
1425
+ "should_training_stop": true
1426
+ },
1427
+ "attributes": {}
1428
+ }
1429
+ },
1430
+ "total_flos": 6052111272345600.0,
1431
+ "train_batch_size": 1,
1432
+ "trial_name": null,
1433
+ "trial_params": null
1434
+ }
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ae3d23346b0392d354b6fd466087a3a3f738c614ddfd19d25400d6beb0f42ba2
3
+ size 6289
vocab.json ADDED
The diff for this file is too large to render. See raw diff