Regression linéaire et Classification
DownloadTélécharger
Actions
Vote :
ScreenshotAperçu
Informations
Catégorie :Category: nCreator TI-Nspire
Auteur Author: yayah
Type : Classeur 3.0.1
Page(s) : 1
Taille Size: 6.20 Ko KB
Mis en ligne Uploaded: 20/10/2024 - 05:34:21
Uploadeur Uploader: yayah (Profil)
Téléchargements Downloads: 1
Visibilité Visibility: Archive publique
Shortlink : http://ti-pla.net/a4263792
Type : Classeur 3.0.1
Page(s) : 1
Taille Size: 6.20 Ko KB
Mis en ligne Uploaded: 20/10/2024 - 05:34:21
Uploadeur Uploader: yayah (Profil)
Téléchargements Downloads: 1
Visibilité Visibility: Archive publique
Shortlink : http://ti-pla.net/a4263792
Description
Fichier Nspire généré sur TI-Planet.org.
Compatible OS 3.0 et ultérieurs.
<<
Regression linéaire Les coefficients dune régression linéaire reflètent-ils à limportance des attributs quils multiplient ? Si les données ont été normalisées, les coefficients dune régression linéaire reflètent limportance des attributs quils multiplient par rapport à la sortie. Ils peuvent alors être comparés entre eux. Si les données ne sont pas standardisées, alors il est impossible de comparer limportance des attributs avec la valeur des coefficients (ex. lâge avec un coefficient 1 peut avoir la même importance que le salaire avec un coefficient 0.0001 si les données ne sont pas standardisées). Soit un jeu de données contenant 100 individus (points) ayant un seul attribut (axe des abscisses x) et une seule valeur de sortie numérique (axe des ordonnées y). Une régression linéaire sans biais a été appliquée sur les données, cependant les résultats ne sont pas bons (voir figure). Comment améliorer ce modèle ? PS sur la photo les points des données forment une parabole Dans lordre : 1. Retirer les deux données aberrantes après les avoir analysées, car lerreur quadratique utilisée par la régression est sensible aux outliers. 2. Ajouter un attribut correspondant à x 2 et/ou x 4 , car les points semblent alignés selon une fonction quadratique. À la place, il est possible de transformer sous-linéairement y avec 2 y ou 4 y. Cependant, transformer x est préférable, car on peut appliquer plusieurs transformations puis une régularisation. 3. Standardiser (Z-score) les données afin de ne pas avoir besoin de biais, de pouvoir interpréter les coefficients comme limportance des attributs, et dans une moindre mesure, éviter les instabilités numériques. 4. La sortie ne dépend que de x 4 , il est donc possible de retirer lattribut x ou dappliquer une pénalisation L1 pour essayer dobtenir un coefficient associé à x nul Supposons que nous voulons trouver la meilleure fonction dajustement y = f(x) où y = w 2x + wx.Comment utiliseriez-vous la régression linéaire pour trouver la meilleure valeur de w ? Léquation y = wx(w+ 1) est de la forme y = mx où m est une constante égale à w(w+ 1). Nous pouvons utiliser la régression linéaire pour prédire m, et ensuite obtenir w. Quels sont les principaux avantages de lapprentissage profond par rapport aux autres méthodes de lapprentissage automatique ? Parmi les principaux avantages de lapprentissage profond, nous pouvons citer : Une plus grande flexibilité en termes de paramètres. Un grand nombre de librairies et daides techniques disponibles. Une mise en échelle plus naturelle que dautres modèles. Régression linéaire - améliorations " Le traitement approprié des données donne souvent de meilleurs modèles : " suppression des valeurs aberrantes (outliers) " ajustement par des fonctions non linéaires " mise à léchelle des variables dépendantes et indépendantes " nettoyage des attributs fortement corrélés Ajustement des fonctions non linéaires " La régression linéaire ajuste les données par des droites uniquement ! " Pas de soucis : nous pouvons les ajuster aussi par des fonctions quadratiques en créant une autre variable avec la valeur x 2 dans notre matrice de données. " Ainsi, le modèle 1-D f (x) = w1x + w2x 2 est quadratique, mais linéaire en w. " Nous pouvons faire de même avec des fonctions arbitraires en ajoutant explicitement les colonnes correspondantes dans X : ex. x, log x, x^3 , 1/x La régression avec kk k -plus proches voisins (k-Nearest Neighbors Regression, ou KNN Regression) est une technique d'apprentissage supervisé utilisée pour prédire une variable continue en fonction de valeurs d'entrée. Elle fait partie des méthodes basées sur des exemples, où la prédiction pour une observation est déterminée par les valeurs de ses kk k voisins les plus proches dans l'espace des caractéristiques. Principe de la régression K plus proche voisin Données d'entraînement : On commence avec un ensemble de données d'entraînement qui comprend des exemples avec des caractéristiques (features) et une valeur cible (target) continue. Mesure de distance : Pour chaque observation pour laquelle on souhaite faire une prédiction, on calcule la distance entre cette observation et toutes les observations de l'ensemble d'entraînement. Les distances sont souvent mesurées à l'aide de la distance euclidienne, mais d'autres métriques peuvent également être utilisées (par exemple, Manhattan, Minkowski). Sélection des voisins : On identifie les kk k voisins les plus proches (c'est-à-dire ceux qui ont les distances les plus courtes). Prédiction : La valeur prédite pour l'observation cible est généralement calculée en prenant la moyenne des valeurs cibles des kk k voisins les plus proches. D'autres méthodes de combinaison peuvent être utilisées, comme une pondération des voisins (les voisins plus proches ayant plus de poids) Fonction derreur - entropie croisée " Lentropie croisée est aussi une fonction convexe ! " Ainsi, nous pouvons trouver le meilleur sépa
[...]
>>
Compatible OS 3.0 et ultérieurs.
<<
Regression linéaire Les coefficients dune régression linéaire reflètent-ils à limportance des attributs quils multiplient ? Si les données ont été normalisées, les coefficients dune régression linéaire reflètent limportance des attributs quils multiplient par rapport à la sortie. Ils peuvent alors être comparés entre eux. Si les données ne sont pas standardisées, alors il est impossible de comparer limportance des attributs avec la valeur des coefficients (ex. lâge avec un coefficient 1 peut avoir la même importance que le salaire avec un coefficient 0.0001 si les données ne sont pas standardisées). Soit un jeu de données contenant 100 individus (points) ayant un seul attribut (axe des abscisses x) et une seule valeur de sortie numérique (axe des ordonnées y). Une régression linéaire sans biais a été appliquée sur les données, cependant les résultats ne sont pas bons (voir figure). Comment améliorer ce modèle ? PS sur la photo les points des données forment une parabole Dans lordre : 1. Retirer les deux données aberrantes après les avoir analysées, car lerreur quadratique utilisée par la régression est sensible aux outliers. 2. Ajouter un attribut correspondant à x 2 et/ou x 4 , car les points semblent alignés selon une fonction quadratique. À la place, il est possible de transformer sous-linéairement y avec 2 y ou 4 y. Cependant, transformer x est préférable, car on peut appliquer plusieurs transformations puis une régularisation. 3. Standardiser (Z-score) les données afin de ne pas avoir besoin de biais, de pouvoir interpréter les coefficients comme limportance des attributs, et dans une moindre mesure, éviter les instabilités numériques. 4. La sortie ne dépend que de x 4 , il est donc possible de retirer lattribut x ou dappliquer une pénalisation L1 pour essayer dobtenir un coefficient associé à x nul Supposons que nous voulons trouver la meilleure fonction dajustement y = f(x) où y = w 2x + wx.Comment utiliseriez-vous la régression linéaire pour trouver la meilleure valeur de w ? Léquation y = wx(w+ 1) est de la forme y = mx où m est une constante égale à w(w+ 1). Nous pouvons utiliser la régression linéaire pour prédire m, et ensuite obtenir w. Quels sont les principaux avantages de lapprentissage profond par rapport aux autres méthodes de lapprentissage automatique ? Parmi les principaux avantages de lapprentissage profond, nous pouvons citer : Une plus grande flexibilité en termes de paramètres. Un grand nombre de librairies et daides techniques disponibles. Une mise en échelle plus naturelle que dautres modèles. Régression linéaire - améliorations " Le traitement approprié des données donne souvent de meilleurs modèles : " suppression des valeurs aberrantes (outliers) " ajustement par des fonctions non linéaires " mise à léchelle des variables dépendantes et indépendantes " nettoyage des attributs fortement corrélés Ajustement des fonctions non linéaires " La régression linéaire ajuste les données par des droites uniquement ! " Pas de soucis : nous pouvons les ajuster aussi par des fonctions quadratiques en créant une autre variable avec la valeur x 2 dans notre matrice de données. " Ainsi, le modèle 1-D f (x) = w1x + w2x 2 est quadratique, mais linéaire en w. " Nous pouvons faire de même avec des fonctions arbitraires en ajoutant explicitement les colonnes correspondantes dans X : ex. x, log x, x^3 , 1/x La régression avec kk k -plus proches voisins (k-Nearest Neighbors Regression, ou KNN Regression) est une technique d'apprentissage supervisé utilisée pour prédire une variable continue en fonction de valeurs d'entrée. Elle fait partie des méthodes basées sur des exemples, où la prédiction pour une observation est déterminée par les valeurs de ses kk k voisins les plus proches dans l'espace des caractéristiques. Principe de la régression K plus proche voisin Données d'entraînement : On commence avec un ensemble de données d'entraînement qui comprend des exemples avec des caractéristiques (features) et une valeur cible (target) continue. Mesure de distance : Pour chaque observation pour laquelle on souhaite faire une prédiction, on calcule la distance entre cette observation et toutes les observations de l'ensemble d'entraînement. Les distances sont souvent mesurées à l'aide de la distance euclidienne, mais d'autres métriques peuvent également être utilisées (par exemple, Manhattan, Minkowski). Sélection des voisins : On identifie les kk k voisins les plus proches (c'est-à-dire ceux qui ont les distances les plus courtes). Prédiction : La valeur prédite pour l'observation cible est généralement calculée en prenant la moyenne des valeurs cibles des kk k voisins les plus proches. D'autres méthodes de combinaison peuvent être utilisées, comme une pondération des voisins (les voisins plus proches ayant plus de poids) Fonction derreur - entropie croisée " Lentropie croisée est aussi une fonction convexe ! " Ainsi, nous pouvons trouver le meilleur sépa
[...]
>>
