Skip to content
GitLab
Explorer
Connexion
Navigation principale
Rechercher ou aller à…
Projet
P
Projet IPBD24
Gestion
Activité
Membres
Labels
Programmation
Tickets
Tableaux des tickets
Jalons
Wiki
Wiki externe
Code
Requêtes de fusion
Dépôt
Branches
Validations
Étiquettes
Graphe du dépôt
Comparer les révisions
Extraits de code
Compilation
Pipelines
Jobs
Planifications de pipeline
Artéfacts
Déploiement
Releases
Registre de paquets
Registre de conteneur
Registre de modèles
Opération
Environnements
Modules Terraform
Surveillance
Incidents
Analyse
Données d'analyse des chaînes de valeur
Analyse des contributeurs
Données d'analyse CI/CD
Données d'analyse du dépôt
Expériences du modèle
Aide
Aide
Support
Documentation de GitLab
Comparer les forfaits GitLab
Forum de la communauté
Contribuer à GitLab
Donner votre avis
Raccourcis clavier
?
Extraits de code
Groupes
Projets
Afficher davantage de fils d'Ariane
Karnas
Projet IPBD24
Validations
4131f772
Valider
4131f772
rédigé
1 year ago
par
tessa.depaoli
Parcourir les fichiers
Options
Téléchargements
Correctifs
Plain Diff
gp
parent
8a4f8b11
Aucune branche associée trouvée
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
Modifications
2
Masquer les modifications d'espaces
En ligne
Côte à côte
Affichage de
2 fichiers modifiés
DB_commands.txt
+91
-0
91 ajouts, 0 suppression
DB_commands.txt
sake.txt
+27
-1
27 ajouts, 1 suppression
sake.txt
avec
118 ajouts
et
1 suppression
DB_commands.txt
0 → 100644
+
91
−
0
Voir le fichier @
4131f772
CREATE DATABASE IF NOT EXISTS myanimelist_db;
USE myanimelist_db;
CREATE EXTERNAL TABLE IF NOT EXISTS anime (
anime_id INT,
name STRING,
english_name STRING,
other_name STRING,
score FLOAT,
genres STRING,
synopsis STRING,
type STRING,
episodes FLOAT,
aired STRING,
premiered STRING,
status STRING,
producers STRING,
licensors STRING,
studios STRING,
source STRING,
duration STRING,
rating STRING,
rank FLOAT,
popularity INT,
favorites INT,
scored_by FLOAT,
members INT,
image_url STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
CREATE EXTERNAL TABLE IF NOT EXISTS users (
mal_id INT,
username STRING,
gender STRING,
birthday TIMESTAMP,
location STRING,
joined TIMESTAMP,
days_watched FLOAT,
mean_score FLOAT,
watching FLOAT,
completed FLOAT,
on_hold FLOAT,
dropped FLOAT,
plan_to_watch FLOAT,
total_entries FLOAT,
rewatched FLOAT,
episodes_watched FLOAT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
CREATE EXTERNAL TABLE IF NOT EXISTS score (
user_id INT,
anime_id INT,
rating INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
////////////////////////////////
CREATE TABLE IF NOT EXISTS users_score_2023 (
user_id INT,
username STRING,
anime_id INT,
anime_title STRING,
rating INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
//////////////////////////////
SELECT x.table
FROM users u
JOIN score s ON u.user_id = s.user_id
JOIN anime a ON u.anime_id = a.anime_id;
Ce diff est replié.
Cliquez pour l'agrandir.
sake.txt
+
27
−
1
Voir le fichier @
4131f772
...
@@ -155,9 +155,35 @@ vérification ici :
...
@@ -155,9 +155,35 @@ vérification ici :
http://162.19.124.170:9870/
http://162.19.124.170:9870/
Une fois que les conteneurs sont up et que la config hdfs est faite (en gros qu'on a accès aux fichiers), on passe sur hive
Une fois que les conteneurs sont up et que la config hdfs est faite (en gros qu'on a accès aux fichiers), on passe à la partie sur hive
C- Construction (aka le vif du sujet)
C- Construction (aka le vif du sujet)
On passe sur hive :
docker exec -it hive-server bash
On passe sur beeline
/opt/hive/bin/beeline -u jdbc:hive2://hive-server:10000
SI PB DE CO :
On vérifie si HiveServer2 est en cours d'exécution :
ps aux | grep HiveServer2
/opt/hive/bin/hiveserver2 &
ça ne fonctionne pas
On regarde notre numéro de port :
nc -zv hive-server 10000
au final il fallait prendre celui spécifié dans notre nom, à savoir : 3e00f5903a89
Nouvelle commande :
/opt/hive/bin/beeline -u jdbc:hive2://hive-server:3e00f5903a89
Il faut donc maintenant construire la BD -> cf DB_commands
V- Analyse représentatives
V- Analyse représentatives
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
Aperçu
0%
Chargement en cours
Veuillez réessayer
ou
joindre un nouveau fichier
.
Annuler
You are about to add
0
people
to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Enregistrer le commentaire
Annuler
Veuillez vous
inscrire
ou vous
se connecter
pour commenter