Stemspleet

Demucs

https://github.com/sevagh/freemusicdemixer.com ; utilise https://github.com/sevagh/demucs.cpp qui peut être utilisé à part ; meilleur que Spleeter sur les voix. La version de sevagh est en C++ ; l'originale est en python ( https://github.com/adefossez/demucs ). La version python offre plus de doc et plus d'options. Mais c'est du python.

Pour l'installer, les instructions sont correctes. J'ai eu une erreur au début sur la version de CMake ; il suffit de corriger CmakeLists.txt

Pour résumer, on clone le dépôt comme c'est dit, on compile (et si on a Arch en théorie on a depuis longtemps installé tout ce qu'il faut pour), on télécharge les modèles (ils ne sont pas lourds), puis on sépare les pistes.

Je compile en sollicitant moins le cpu de mon côté, je n'ai pas un foudre de guerre. Pour savoir combien de cœur sont dispo, on fait la commande nproc. Ou lscpu, les lignes “Thread(s) par cœur” et ““Cœur(s) par socket” indiquent plus de détail. Mais ce que dit nproc suffit.

git clone --recurse-submodules https://github.com/sevagh/demucs.cpp
mkdir -p build && cd build && cmake .. && make -j4
# les modèles
git clone https://huggingface.co/datasets/Retrobear/demucs.cpp

La commande : lien vers le soft, lien vers le modèle, liens vers la zik, lien vers le dossier où envoyer l'unmixage, nombre de thread à mettre au travail

./demucs_mt.cpp.main ./models.cpp/ggml-model-htdemucs-4s-f16.bin /lienvers/machin.wav ./demucs-out-cpp/ 8

À noter que si la version de base demande qu'on lui indique le chemin complet vers le modèle, la version ft attent le dossier où sont les modèles.

Bon format en entrée

Si on n'a pas un wav échantilloné à 44100 Hz, ça râle. Hop, un coup de ffmpeg :

ffmpeg -i musik.mp3 -ar 44100 -ac 2 -acodec pcm_s16le sortie.wav

Choix du modèle

De base, sans autre précision, les modèles séparent en 4 pistes (basse, batterie, voix, autres). “4s” ou “6s” indiquent précisément si on va avoir 4 ou 6 pistes (stem).

ggml-model-hdemucs_mmi-v3-f16.bin : le plus rapide
ggml-model-htdemucs-4s-f16.bin : devrait être plus précis que le précédent mais plus lent
ggml-model-htdemucs-6s-f16.bin : sépare en 6 pistes (basse, batterie, guitare, piano, voix, autres), forcément encore plus lent.
ggml-model-htdemucs_ft* : version affinée, la séparation prendra 4 fois plus de temps mais pourrait être un peu meilleure.

Et choix du binaire

Lors de la compilation, on obtient plusieurs binaires.

demucs.cpp.main : version de base, mono-thread
demucs_mt.cpp.main : Multi-threaded
demucs_v3.cpp.main : Version optimisée pour le modèle hdemucs_mmi-v3, à utiliser spécifiquement avec ce modèle
demucs_v3_mt.cpp.main : idem en multi-threaded
demucs.cpp.test : Implémentation du pipeline de fine-tuning d’un stem
demucs_ft.cpp.main : idem en multi-threaded

Autres soft

https://github.com/deezer/spleeter : MIT avec TensorFlow, créé par Deezer
https://github.com/stemrollerapp/stemroller : pas testé

Audio