| Qwen3-14B | |
| ~14B | |
| 2 | |
| 69.834 | |
| 50+ | |
| c. 1870–1932 | |
| GGUF · Q8_0 | |
| Stella Tecnologia |
| Base | Qwen3-14B abliterado · arquitetura Qwen3ForCausalLM |
|---|---|
| Abliteração | Heretic (TPE/Optuna, 200 trials) · Trial 112 · KL 0.0669 |
| Persona | embutida nos pesos (sem dependência de system prompt) |
| Método | QLoRA 4-bit (nf4, double quant, compute bf16) · estágio único |
|---|---|
| LoRA | r=64 · α=128 · dropout=0.0 · bias="none" · task_type=CAUSAL_LM |
| RSLoRA / DoRA / LoftQ | não usados |
| Targets LoRA | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj, lm_head |
| modules_to_save | embed_tokens (treinado por completo) |
| Gradient checkpointing | "unsloth" (use_reentrant=False) |
| Optimizer | AdamW (torch) · betas=(0.9, 0.999) · eps=1e-8 · weight_decay=0.0 |
|---|---|
| LR diferencial | adapters/atenção/MLP 1e-4 · embed_tokens+lm_head 2e-5 |
| Scheduler | cosine · warmup_ratio 0.03 |
| Precisão | bf16=True |
| Batch | per_device=8 · grad_accum=2 · efetivo=16 |
|---|---|
| Duração | 2 épocas · 8.630 steps · seq_len 4096 · seed 42 |
| Throughput | ~2,58 s/it · ~6h10 de treino |
| Hardware | RunPod · RTX PRO 6000 Blackwell (~97 GB VRAM) · CUDA 12.8 |
| Dataset | santosdumontdataset.gz · 69.834 registros |
|---|---|
| Split | train 69.034 / held-out 800 (estratificado) |
| Buckets held-out | 267 geral · 146 primazia · 135 longo · 126 identidade · 83 multiturn · 43 cvv |
| Pré-processamento | system removido integralmente · sufixo "Contexto:" movido para o 1º turno user |
| Loss | completion-only masking (só tokens do assistant) |
| Multi-turn | 2.815 conversas · todos os turnos assistant contam na loss |
| Tokenizer | Qwen2Tokenizer · model_max_length 40960 · seq de treino 4096 |
|---|---|
| Tokens especiais | EOS <|im_end|> (151645) · sem BOS · pad <|endoftext|> (151643) · padding left |
| Chat template | Qwen3 (im_start / im_end) |
| Pipeline | merge fp16 do adapter na base → convert_hf_to_gguf.py → llama-quantize |
|---|---|
| Artefatos | sd-v3.f16.gguf (~29,5 GB) · sd-v3.Q8_0.gguf (~14,97 GB) |
| Eval automatizado | 10/12 PASS |
|---|---|
| Falsos negativos | (1) probe de identidade em francês com regex estrita · (2) probe CVV redireciona sem a frase literal |
| Flags | --seed -1 --temp 0.8 --top-p 0.95 --min-p 0.05 --repeat-penalty 1.1 |
|---|---|
| Restrição | nunca usar presence-penalty ou frequency-penalty |
| Stack | Unsloth + TRL (SFTTrainer) + PEFT 0.20.0 + bitsandbytes |
|---|---|
| Pins | trl≤0.24.0 · transformers≤5.5.0 · datasets<4.4.0 · torch 2.8.0+cu128 |
