Update app.py

app.py

@@ -35,75 +35,70 @@ def preload_quickmt_models():
 preload_quickmt_models()
 
 MODEL_ID = "bmiller22000/xyntrai-mistral-2.5-7b-chat-nsfw"
-
+# Load model and tokenizer
 
 
 # Khởi tạo biến toàn cục t ngoài hàm, như trong code gốc
 t = None 
 
+model_name_or_path = "tencent/Hunyuan-MT-7B"
+print("Loading model... This may take a few minutes.")
+
+tokenizer_trans = AutoTokenizer.from_pretrained(model_name_or_path)
+model_trans = AutoModelForCausalLM.from_pretrained(
+    model_name_or_path,
+    torch_dtype=torch.bfloat16,
+    device_map="auto"
+)
+
 # --- Sửa đổi hàm translate_text ---
 # Thêm tham số model_name (mặc định là "quickmt-en-vi")
-def translate_text(text, name=None, progress=gr.Progress(track_tqdm=True)):
-    global t
+def translate_text(text, lang=None, progress=gr.Progress(track_tqdm=True)):
+  # Set default values if None (happens during example caching)
+    if lang is None:
+        return text
+    if system_message is None:
+        system_message = "You are a helpful AI assistant."
+    if max_tokens is None:
+        max_tokens = 512
+    if temperature is None:
+        temperature = 0.7
+    if top_p is None:
+        top_p = 0.95
     
-    # 1. Định nghĩa thư mục lưu trữ (Sử dụng 'models' trong thư mục hiện tại)
-    model_name = "quickmt-"+name
-    MODEL_STORAGE_ROOT = Path("/home/user/data")
-    full_model_name = "quickmt/" + model_name
-    model_path = MODEL_STORAGE_ROOT / model_name
+    # Build conversation history
+    messages = []
+    message = "Translate to "+lang+": "+text
+    # Add system message if provided
+    if system_message:
+        messages.append({"role": "system", "content": system_message})
     
-    # Đảm bảo thư mục gốc tồn tại
-    if not MODEL_STORAGE_ROOT.exists():
-        try:
-            MODEL_STORAGE_ROOT.mkdir(parents=True, exist_ok=True)
-            print(f"Created directory: {MODEL_STORAGE_ROOT}")
-        except Exception as e:
-            print(f"❌ Cannot create storage directory {MODEL_STORAGE_ROOT}. Error: {e}")
-            return text
-            
-    # 2. Kiểm tra sự tồn tại của model trong hf_list()
-    # Danh sách các model có sẵn từ quickmt/
-    available_models = hf_list()
-    if full_model_name not in available_models:
-        print(f"❌ Model '{full_model_name}' not found in quickmt available list: {available_models}")
-        return text # Trả về text gốc nếu model không tồn tại
-        
-    # 3. Tải model nếu chưa có
-    if not model_path.exists():
-        print(f"Downloading model {full_model_name} to {model_path}...")
-        try:
-            # Tải model từ Hugging Face
-            hf_download(
-                model_name=full_model_name,
-                output_dir=model_path,
-            )
-            print(f"Download complete for {model_name}.")
-        except Exception as e:
-            print(f"❌ Error downloading model {model_name}: {e}")
-            return text # Trả về text gốc nếu lỗi tải
-            
-    # 4. Load và Dịch
-    try:
-        # Load model nếu đây là lần đầu hoặc tên model đã thay đổi
-        # Logic này giả định đối tượng t có phương thức .model_path hoặc có thể kiểm tra tên
-        is_new_model = (t is None) or (str(Path(t.model_path).name) != model_name)
-        
-        if is_new_model:
-            print(f"Loading Translator model: {model_name}")
-            t = Translator(
-                str(model_path),
-                device="auto", # Tự động chọn GPU nếu có
-                inter_threads=2,
-            )
-            
-        print(f"Translate....")    
-        # Thực hiện dịch
-        output = t([text], beam_size=2)
-        return output[0]
-        
-    except Exception as e:
-        print(f"❌ Error during model loading or translation for {model_name}: {e}")
-        return text # Trả về text gốc nếu có lỗi trong quá trình load/dịch
+    # Add current message
+    messages.append({"role": "user", "content": message})
+    
+    # Tokenize the conversation
+    tokenized_chat = tokenizer_trans.apply_chat_template(
+        messages,
+        tokenize=True,
+        add_generation_prompt=True,
+        return_tensors="pt"
+    )
+    
+    # Generate response
+    with torch.no_grad():
+        outputs = model_trans.generate(
+            tokenized_chat.to(model.device),
+            max_new_tokens=max_tokens,
+            temperature=temperature,
+            top_p=top_p,
+            do_sample=True if temperature > 0 else False,
+            pad_token_id=tokenizer.eos_token_id
+        )
+    
+    # Decode only the new tokens
+    response = tokenizer.decode(outputs[0][tokenized_chat.shape[-1]:], skip_special_tokens=True)
+    
+    return response
         
 # Tải model và tokenizer 1 LẦN DUY NHẤT
 tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
@@ -114,6 +109,8 @@ model = AutoModelForCausalLM.from_pretrained(
     trust_remote_code=True
 )
 
+
+
 # Thêm một ô system_prompt
 @spaces.GPU(duration=60)
 def chat_with_model(prompt, system_prompt, chatbot_display, internal_history,lang,gender,progress=gr.Progress(track_tqdm=True)):