Skip to content
GitLab
Explorer
Connexion
Navigation principale
Rechercher ou aller à…
Projet
AutoKara
Gestion
Activité
Membres
Labels
Programmation
Tickets
Tableaux des tickets
Jalons
Wiki
Wiki externe
Code
Requêtes de fusion
Dépôt
Branches
Validations
Étiquettes
Graphe du dépôt
Comparer les révisions
Extraits de code
Compilation
Pipelines
Jobs
Planifications de pipeline
Artéfacts
Déploiement
Releases
Registre de conteneur
Registre de modèles
Opération
Environnements
Surveillance
Incidents
Analyse
Données d'analyse des chaînes de valeur
Analyse des contributeurs
Données d'analyse CI/CD
Données d'analyse du dépôt
Expériences du modèle
Aide
Aide
Support
Documentation de GitLab
Comparer les forfaits GitLab
Forum de la communauté
Contribuer à GitLab
Donner votre avis
Raccourcis clavier
?
Extraits de code
Groupes
Projets
Afficher davantage de fils d'Ariane
bakaclub
AutoKara
Validations
61c9b4b2
Valider
61c9b4b2
rédigé
1 year ago
par
Sting
Parcourir les fichiers
Options
Téléchargements
Correctifs
Plain Diff
Update README with some docs and resources
parent
a2f89934
Aucune branche associée trouvée
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
Modifications
2
Masquer les modifications d'espaces
En ligne
Côte à côte
Affichage de
2 fichiers modifiés
README.md
+28
-14
28 ajouts, 14 suppressions
README.md
segment.py
+1
-1
1 ajout, 1 suppression
segment.py
avec
29 ajouts
et
15 suppressions
README.md
+
28
−
14
Voir le fichier @
61c9b4b2
...
...
@@ -7,29 +7,37 @@ Experiment in automatic karaoke timing.
Having a clean python environment:
-
https://realpython.com/python-virtual-environments-a-primer/
-
https://www.pyimagesearch.com/2016/11/14/installing-keras-with-tensorflow-backend/
An introduction to neural networks and deep learning:
-
http://neuralnetworksanddeeplearning.com
Get a data buffer from an audio file:
-
https://www.analyticsvidhya.com/blog/2017/08/audio-voice-processing-deep-learning/
-
https://pypi.org/project/audioread/
-
https://pythonbasics.org/convert-mp3-to-wav/
-
http://zulko.github.io/blog/2013/10/04/read-and-write-audio-files-in-python-using-ffmpeg/
-
https://stackoverflow.com/questions/49279425/extract-human-vocals-from-song
-
https://www.geeksforgeeks.org/python-speech-recognition-on-large-audio-files/
### Extracting vocals from music
## Extracting vocals from music
-
https://github.com/facebookresearch/demucs
### Syllable segmentation and recognition
## Syllable segmentation
### Symbolic methods
-
[
Syllable segmentation
](
https://www.sciencedirect.com/science/article/pii/S1877050916319068/pdf?md5=abc426e84a71cd4f5c0e6bef9713643e&pid=1-s2.0-S1877050916319068-main.pdf&_valck=1
)
-
[
Syllable segmentation and recognition
](
https://cdn.intechopen.com/pdfs/15947/InTech-Syllable_based_speech_recognition.pdf
)
-
[
Onset detection with librosa
](
https://librosa.org/doc/latest/onset.html
)
### Machine Learning & Deep Learning methods
[
Using CNNs on spectrogram images
](
https://www.ofai.at/~jan.schlueter/pubs/2014_icassp.pdf
)
(
Schlüter,
Böck, 2014) :
-
Python implementation for Taiko rythm games : https://www.ofai.at/~jan.schlueter/pubs/2014_icassp.pdf
### Other methods
Other stuff goes here
## Syllable recognition
If we ever want to use an AI to identify syllables without a reference lyrics file
# Installation
...
...
@@ -50,6 +58,7 @@ $ source env/bin/activate # use the virtual environement
# Install the Demucs (vocal separation tool)
$
pip
install
-U
demucs
$
pip
install
librosa
# To exit the virtual environment
$
deactivate
...
...
@@ -59,16 +68,21 @@ $ deactivate
To execute AutoKara on a MKV video file :
```
bash
$
python autokara.py video.mkv
$
python autokara.py video.mkv output.ass
```
To execute AutoKara on a (pre-extracted) WAV vocals file :
```
bash
$
python autokara.py vocals.wav output.ass
--vocals
```
To extract .wav audio from a MKV file :
To
only
extract .wav audio from a MKV file :
```
bash
$
./extractWav.sh source_video output_audio
```
To separate vocals from instruments in an audio file :
To
only
separate vocals from instruments in an audio file :
```
bash
demucs
--two-stems
=
vocals
-o
output_folder audio_file.wav
```
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
segment.py
+
1
−
1
Voir le fichier @
61c9b4b2
import
librosa
import
numpy
as
np
import
matplotlib.pyplot
as
plt
#
import matplotlib.pyplot as plt
import
sys
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
Aperçu
0%
Chargement en cours
Veuillez réessayer
ou
joindre un nouveau fichier
.
Annuler
You are about to add
0
people
to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Enregistrer le commentaire
Annuler
Veuillez vous
inscrire
ou vous
se connecter
pour commenter