corrigindo upload

scripts/handler/main.py

@@ -12,6 +12,8 @@ import re
 import unicodedata
 import csv
 import psutil
+import glob
+import json
 from datetime import datetime, timedelta
 
 # Importando seus módulos locais
@@ -384,6 +386,38 @@ def process_single_file(args):
 
     return result
 
+def rebuild_all_yamls():
+    """Lê todos os JSONs individuais e reconstrói APENAS os arquivos necessários (JSON e YAML leve)."""
+    logging.info("Reconstruindo all.json e all_leve.yml a partir dos projetos individuais...")
+    all_data = []
+    
+    # Busca todos os arquivos .json na pasta de metadados
+    json_files = glob.glob(os.path.join(METADATA_FOLDER, "*.json"))
+
+    for j_file in json_files:
+        filename = os.path.basename(j_file)
+        if filename in ["all.json", "samples-manifest.json", "mmp-manifest.json", "dependency_report.json"]:
+            continue
+
+        try:
+            with open(j_file, 'r', encoding='utf-8') as f:
+                data = json.load(f)
+                all_data.append(data)
+        except Exception as e:
+            logging.error(f"Erro ao ler {j_file} para agregar: {e}")
+
+    if all_data:
+        # 1. Salva o JSON completo (A biblioteca JSON é nativa e MUITO mais eficiente em RAM)
+        save_to_json(all_data, os.path.join(METADATA_FOLDER, "all.json"))
+        
+        # 2. Transforma o 'elefante' num 'camundongo' ANTES de passar pro YAML
+        dados_leves = create_lightweight_dataset(all_data)
+        
+        # 3. Salva APENAS a versão leve para o Jekyll (Isso não vai estourar a memória)
+        save_to_yaml(dados_leves, os.path.join(DATA_FOLDER, "all_leve.yml"))
+        
+        logging.info(f"Arquivos agregados (all.json / all_leve.yml) atualizados com {len(all_data)} projetos!")
+        
 
 def main_parallel():
     logger, log_file_path = setup_logger()