LLM‑генерация уникальных заголовков и описаний для каталогов e‑commerce

import os
import json
import time
from concurrent.futures import ThreadPoolExecutor, as_completed

import openai
import requests
from openai import OpenAIError, RateLimitError, InvalidRequestError

# Конфигурация
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
CMS_URL = os.getenv("CMS_URL")          # e.g. https://cms.example.com/api/products/metadata
CMS_TOKEN = os.getenv("CMS_TOKEN")
MAX_TOKENS = 60
MAX_WORKERS = 8
RETRY_LIMIT = 3
RETRY_BACKOFF = 2  # seconds

openai.api_key = OPENAI_API_KEY

def generate_meta(product):
    """
    Генерация заголовка и описания для одного товара.
    """
    system_prompt = (
        "Ты – генератор SEO‑текстов. Для данного продукта создай "
        "уникальный заголовок (до 70 символов) и описание (до 160 символов). "
        "Выход в формате JSON: {\"title\": \"…\", \"description\": \"…\"}."
    )
    user_prompt = f"Название: {product['name']}. Категория: {product['category']}. Характеристики: {product['features']}."

    for attempt in range(RETRY_LIMIT):
        try:
            response = openai.ChatCompletion.create(
                model="gpt-4o-mini",
                messages=[
                    {"role": "system", "content": system_prompt},
                    {"role": "user", "content": user_prompt}
                ],
                max_tokens=MAX_TOKENS,
                temperature=0.7
            )
            # Проверяем лимит токенов
            usage = response.get("usage", {})
            if usage.get("total_tokens", 0) > MAX_TOKENS + 20:  # небольшая защита
                raise InvalidRequestError("Token limit exceeded", response)

            result = response["choices"][0]["message"]["content"]
            return json.loads(result)

        except (RateLimitError, OpenAIError) as e:
            print(f"OpenAI error ({e}). Попытка {attempt + 1} из {RETRY_LIMIT}.")
            time.sleep(RETRY_BACKOFF * (attempt + 1))
        except json.JSONDecodeError:
            print("Некорректный JSON от OpenAI. Перезапуск.")
            time.sleep(RETRY_BACKOFF * (attempt + 1))
    raise RuntimeError("Не удалось сгенерировать метаданные после нескольких попыток")

def save_to_cms(product_id, meta):
    """
    Отправка заголовка и описания в CMS.
    """
    headers = {
        "Authorization": f"Bearer {CMS_TOKEN}",
        "Content-Type": "application/json"
    }
    payload = {
        "product_id": product_id,
        "title": meta["title"],
        "description": meta["description"]
    }
    try:
        resp = requests.post(CMS_URL, json=payload, headers=headers, timeout=10)
        resp.raise_for_status()
    except requests.RequestException as e:
        print(f"Ошибка при сохранении в CMS для продукта {product_id}: {e}")

def process_batch(products):
    """
    Пакетная обработка списка товаров с параллелизмом.
    """
    results = []
    with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
        future_to_product = {executor.submit(generate_meta, p): p for p in products}
        for future in as_completed(future_to_product):
            prod = future_to_product[future]
            try:
                meta = future.result()
                save_to_cms(prod["id"], meta)
                results.append((prod["id"], "success"))
            except Exception as exc:
                print(f"Товар {prod['id']} не обработан: {exc}")
                results.append((prod["id"], "failed"))
    return results

# Пример использования
if __name__ == "__main__":
    # Предположим, что products – это список словарей с полями id, name, category, features
    products = [
        {"id": 101, "name": "Умный термостат", "category": "Домашняя техника", "features": "WiFi, Alexa, энергосбережение"},
        {"id": 102, "name": "Беспроводные наушники", "category": "Электроника", "features": "Bluetooth 5.2, шумоподавление"},
        # ... более 10 000 товаров
    ]
    results = process_batch(products)
    print(f"Обработано: {len(results)} товаров.")