mrbui1990 commited on
Commit
b139ca6
·
verified ·
1 Parent(s): ccc4a38

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -2
app.py CHANGED
@@ -15,7 +15,7 @@ model = AutoModelForCausalLM.from_pretrained(
15
  )
16
 
17
  # Thêm một ô system_prompt
18
- @spaces.GPU
19
  def chat_with_model(prompt, system_prompt, chatbot_display, internal_history):
20
  """
21
  Hàm này nhận prompt mới, system_prompt, lịch sử hiển thị (của gr.Chatbot)
@@ -57,7 +57,7 @@ def chat_with_model(prompt, system_prompt, chatbot_display, internal_history):
57
  # 4. Generate
58
  output_tokens = model.generate(
59
  inputs,
60
- max_new_tokens=512, # Tăng số token tối đa lên một chút
61
  do_sample=True,
62
  temperature=0.7,
63
  top_p=0.9
 
15
  )
16
 
17
  # Thêm một ô system_prompt
18
+ @spaces.GPU(duration=60)
19
  def chat_with_model(prompt, system_prompt, chatbot_display, internal_history):
20
  """
21
  Hàm này nhận prompt mới, system_prompt, lịch sử hiển thị (của gr.Chatbot)
 
57
  # 4. Generate
58
  output_tokens = model.generate(
59
  inputs,
60
+ max_new_tokens=5120, # Tăng số token tối đa lên một chút
61
  do_sample=True,
62
  temperature=0.7,
63
  top_p=0.9