Clonación de voz con RVC: Guía completa de entrenamiento e inferencia

¿Qué es RVC y por qué lo utilizan los productores?

RVC (Conversión de voz basada en recuperación) es un marco de inteligencia artificial de código abierto lanzado en 2023^[1] que convierte el habla de una voz a otra con alta fidelidad. A diferencia de las herramientas de conversión de texto a voz que generan voz desde cero, RVC toma una interpretación vocal existente y la vuelve a representar con el timbre de una voz objetivo entrenada, preservando el fraseo, la emoción y el tiempo originales.

Para los productores, esa distinción es de enorme importancia. Si usted mismo graba una melodía de referencia y la ejecuta a través de un modelo RVC de una voz entrenada, el audio resultante hereda la dinámica de su interpretación mientras suena como el hablante objetivo. Eso hace que RVC sea útil para: coros y armonías de IA en su propio modelo de voz, crear portadas de demostración para presentarlas a los artistas, generar voces principales de marcador de posición para los ritmos de los clientes y diseño de sonido experimental en el que se combinan o transforman timbres.

La tecnología que sustenta RVC se basa en tres etapas: un HuBERT codificador de contenido que elimina la identidad del hablante del audio y extrae características fonéticas, un índice vectorial FAISS que recupera las unidades de voz más cercanas del conjunto de datos de voz de destino, y un codificador de voz HiFi-GAN que sintetiza el resultado final. forma de onda.^[1] El tono se rastrea por separado utilizando el algoritmo RMVPE, que la WebUI oficial recomienda sobre extractores más antiguos basados en Crepe para una mayor precisión y un menor uso de recursos.^[2]

Ética y realidad jurídica: lea esto primero

La clonación de voces se encuentra en una frontera legal activa. La ley federal de derechos de autor en Estados Unidos protege las grabaciones de sonido fijas, pero no protege las cualidades abstractas de una voz: un tribunal no puede impedir que alguien imite un estilo de voz únicamente bajo el derecho de autor. Sin embargo, las leyes de derecho de publicidad operan de forma independiente y protegen a las personas de la explotación comercial no autorizada de su voz y semejanza.^[3]

La Ley ELVIS de Tennessee (Garantizar la seguridad de la imagen y la voz de la imagen), promulgada el 21 de marzo de 2024 y vigente desde el 1 de julio de 2024, es la primera ley estatal que protege explícitamente a las personas contra la replicación de voz no autorizada por IA. ^[4] Se aplica más allá del uso comercial, lo que significa que la creación de un clon de voz no autorizado, incluso para fines no comerciales, puede desencadenar acciones civiles y penales. responsabilidad según la ley de Tennessee.^[5] Muchos otros estados (California, Nueva York, Texas, Illinois) han fortalecido o están fortaleciendo estatutos similares sobre deepfake y derecho de publicidad.^[6]

En litigio activo, el caso Lehrman & Sage v. Lovo, Inc. demostró que entrenar un modelo de IA en las grabaciones de un actor de voz sin autorización puede sustentar demandas bajo la ley de derecho de publicidad, incumplimiento de contrato y derechos de autor, y el tribunal sostuvo que cada clip sintético generado a partir de un modelo no autorizado puede constituir una violación continua.^[7]

• Clona tu propia voz Totalmente seguro: usted es dueño de su voz y puede concederse cualquier uso. Este es el camino más práctico para los productores que crean un modelo vocal personalizado.
• Clonar un colaborador que consienta Legal cuando tiene un consentimiento claro, documentado y por escrito que especifica cómo se utilizará el modelo, en qué contextos y durante cuánto tiempo.^[6]
• Clonar una figura pública o un artista discográfico Alto riesgo legal. Incluso si sus grabaciones están disponibles comercialmente, utilizarlas para entrenar un modelo y distribuir resultados genera derechos de publicidad y posibles reclamaciones de derechos de autor. Obtenga una licencia o no realice envíos.
• Portadas de IA para publicación pública Lanzar comercialmente una portada de IA que imita la voz de un artista real sin autorización es el caso de uso de mayor riesgo y es objeto de litigios en curso y eliminaciones basadas en la DMCA.
• Demostraciones internas y experimentación privada. Menor riesgo cuando se mantiene en privado, pero la ley de derecho de publicidad en algunos estados no requiere el uso comercial para asumir responsabilidad. En caso de duda, utilice su propia voz.

Herramientas RVC: cuál usar

El ecosistema RVC tiene varias UI y bifurcaciones basadas en el mismo algoritmo central. La siguiente tabla cubre las opciones mantenidas activamente a partir de 2026: no utilice proyectos archivados como So-VITS-SVC para nuevos trabajos, ya que no recibió actualizaciones de seguridad después de que el equipo original lo archivó.

Applio es el punto de partida recomendado para la mayoría de los productores. Incluye RVC en una interfaz de usuario limpia del navegador Gradio, incluye Voice Blender para fusionar dos modelos, una pestaña de conversión en tiempo real, compatibilidad con TTS e integra una biblioteca de más de 20 000 modelos de voz comunitarios previamente entrenados a través de su API.^[11] Su rama estable actual es v3.6.2.^[9]

La WebUI oficial de RVC de RVC-Project tiene más de 35 000 estrellas de GitHub y es la implementación de referencia canónica.^[8] Es compatible con NVIDIA CUDA, GPU AMD a través de DirectML (Windows) o ROCm (Linux) e Intel ARC a través de IPEX.^[2]

Qué hardware necesita realmente

El ecosistema RVC es más accesible que la mayoría de las herramientas de aprendizaje automático, pero existen niveles de hardware reales que afectan su flujo de trabajo.

• Solo inferencia (usando modelos existentes) Una CPU moderna y cualquier GPU de gama media funcionarán. La WebUI oficial señala que la arquitectura se ejecuta incluso en tarjetas gráficas modestas para realizar inferencias.^[2] Applio confirma: "la mayoría de las computadoras modernas funcionarán bien" para inferencias.^[11]
• Entrenando un modelo personalizado localmente Applio recomienda una GPU NVIDIA RTX serie 20 o posterior para la capacitación local.^[11] El tamaño de lote de 6 a 8 es apropiado para una tarjeta VRAM de 8 GB.
• Entrenamiento sin GPU - Google Colab Applio y Ultimate RVC ofrecen portátiles Colab listos para usar que se ejecutan en las GPU en la nube gratuitas de Google. Esta es la ruta recomendada si no posee una tarjeta NVIDIA calificada. El nivel gratuito de Colab es suficiente para conjuntos de datos de menos de 30 minutos.^[12]
• Conversión en tiempo real La WebUI oficial alcanza una latencia de aproximadamente 170 ms en condiciones estándar y alrededor de 90 ms con hardware de audio ASIO.^[2] El uso en tiempo real exige una GPU capaz.

Entrenamiento de un modelo de voz: flujo de trabajo paso a paso

Ya sea que utilice Applio o la WebUI oficial, el proceso de capacitación sigue las mismas etapas. Todos los pasos siguientes se basan en la documentación de formación de Applio.^[13]

1. Reúna y limpie su conjunto de datos de audio
   Graba o genera 10–30 minutos de audio mono limpio en tu voz objetivo. Apunte a cero ruido de fondo, cero reverberación y sin música debajo. Solo formatos sin pérdida (WAV o FLAC).^[13] Cuanta más variedad acústica haya en la entrega (diferentes tonos, intensidades, vocales), más robusto será el modelo. La calidad aquí determina directamente la calidad de la producción; este paso no se puede compensar más adelante.
2. Dividir y preprocesar
   Utilice el Dataset Creator integrado de Applio o una herramienta independiente como UVR5 (incluida en la WebUI^[2] oficial) para eliminar cualquier base musical y aislar la voz. Divida el audio en segmentos, luego ejecute el paso Preprocesamiento en la interfaz de usuario: establezca su frecuencia de muestreo objetivo (32k, 40k o 48k).^[13]
3. Extraer características
   Seleccione su algoritmo de extracción de tono. RMVPE es la opción recomendada: la WebUI oficial señala que proporciona mejores resultados y un procesamiento más rápido con un menor uso de recursos que los métodos más antiguos basados ​​en Crepe.^[2] El extractor de funciones también crea el índice FAISS a partir de su conjunto de datos en esta etapa.
4. Entrenar el modelo
   Establezca épocas en 200–400 como punto de partida.^[13] Habilite Guardar cada época (cada 10 a 50 épocas) para que pueda comparar puntos de control y retroceder si el modelo se sobreentrena. Supervise las curvas de pérdida en TensorBoard: deténgase cuando la pérdida de validación se estabilice, no cuando se agoten las épocas. El sobreentrenamiento es un error común: el modelo memoriza artefactos en lugar de generalizar la voz.
5. Exportar y generar el índice FAISS
   Cuando se complete el entrenamiento, exporte los pesos del modelo (archivo .pth) y genere el archivo de índice de recuperación FAISS adjunto. Ambos archivos son necesarios para una inferencia de alta calidad: el índice es lo que hace que RVC parezca una conversión basada en recuperación en lugar de un mapa estadístico sin formato.
6. Ejecutar inferencia y evaluar
   Cargue el modelo en la pestaña Inferencia. Grabe una voz de prueba (su propia voz, en un tono y tempo neutros). Ajuste el control deslizante de cambio de tono para tener en cuenta la diferencia de registro entre la voz de origen y de destino. Pruebe varios algoritmos de extracción de tono en la salida y compare. Un modelo bien entrenado con datos limpios debería producir conversión inteligible y de sonido natural; espere imperfecciones en la sibilancia y notas extremadamente altas en la primera pasada.

Casos de uso de productores: para qué sirve realmente RVC

Las fortalezas y debilidades de RVC determinan las tareas de producción a las que se adapta. Conocer ambos de antemano ahorra frustración.

Tu propio modelo de voz

Entrenar un modelo con su propia voz es la aplicación más limpia desde el punto de vista legal y más útil en la práctica. Una vez entrenado, podrás: grabar una idea melódica aproximada en una sola toma y convertirla en una versión más limpia de tu voz; generar armonías convirtiendo la misma toma con un cambio de tono; producir coros consistentes sin volver a grabar múltiples pases; y mantenga las sesiones vocales privadas y completamente fuera de línea.

Coros y armonías

Introduzca una voz principal compuesta en RVC utilizando su propio modelo de voz entrenado, cambie el tono de la entrada antes de la conversión para armonías y luego exporte cada línea de armonía. Este flujo de trabajo evita las inconsistencias tonales de grabar cinco tomas separadas en registros diferentes. Funciona mejor cuando la voz fuente está seca y con un micrófono cercano: las señales húmedas o con mucha reverberación confunden al extractor de tono.

Portadas de IA y bocetos de demostración (uso privado)

Los productores a veces usan portadas de IA como bocetos de referencia cuando le presentan un arreglo a un artista: usted demuestra cómo una melodía se ubica en el ritmo convirtiéndola a través de una aproximación del estilo vocal del artista objetivo. Manténgalos estrictamente internos, nunca los suba a streaming o YouTube, y trátelos como archivos de trabajo internos de la misma manera que manejaría una muestra no autorizada.

Expectativas de calidad y realismo

En un conjunto de datos de más de 20 minutos de audio limpio de alta calidad, RVC puede producir resultados de conversión que son convincentes a una distancia de escucha, es decir, en una mezcla con otros elementos, las uniones no son obvias. De cerca o en solitario, los oyentes entrenados notarán artefactos tonales, particularmente en pasajes rápidos y registros extremos. RVC no reemplaza una interpretación vocal en vivo en un contexto de lanzamiento comercial; Es una herramienta creativa y de creación rápida de prototipos.

Obtener la mejor calidad de salida

Las decisiones técnicas en cada etapa tienen un efecto compuesto en el resultado final. Las siguientes prácticas tienen el mayor impacto:

• La calidad del audio de origen es el techo RVC no puede crear información que no estuviera en los datos de entrenamiento. El audio de entrenamiento ruidoso, reverberante o comprimido produce una salida ruidosa y reverberante. Grabe en un espacio tranquilo y tratado y utilice una cadena de preamplificador limpia: el modelo hereda todos los artefactos del conjunto de datos.
• El algoritmo de extracción de tono es importante Utilice RMVPE para cantar y contenido melódico. Maneja vibrato y notas sostenidas de manera más limpia que los algoritmos más antiguos. ^[2] Vale la pena probar FCPE (disponible en Ultimate RVC) en conversiones de voz intensa.
• Ajuste de la relación de índice La relación de índice FAISS (a menudo denominada Relación de recuperación de características en la interfaz de usuario) controla la fuerza con la que el modelo extrae sus datos de entrenamiento en comparación con el modelo base. Los valores más altos aumentan la fidelidad de la voz objetivo, pero pueden introducir artefactos en el conjunto de datos. Comience entre 0,5 y 0,75 y afine de oído.
• Postprocesamiento en tu DAW La salida RVC casi siempre se beneficia de la de-essing, el filtrado de paso alto por debajo de 80 Hz y una saturación suave para agregar presencia. Trátelo como cualquier otra raíz vocal: necesita una cadena. Consulte cómo mezclar voces para obtener un tutorial completo de la cadena vocal.
• Voice Blender de Applio para personajes Voice Blender en Applio te permite interpolar entre dos modelos entrenados, creando una voz híbrida. Esto es útil para crear un personaje de coro personalizado que se sienta diferente al líder, incluso cuando ambos se basan en sus propias grabaciones de voz.

Mapa de decisiones de inicio rápido

Por dónde empezar depende de su hardware y su objetivo: