Soit une application linéaire du plan donnée par les équations:

Ces équations peuvent s'écrire sous forme matricielle:

Pour être assuré d'avoir à faire avec une permutation, on doit évidemment pouvoir calculer x et y en fonction de x' et de y'; le déterminant D = ad-bc de la matrice doit donc être non nul.

Cette permutation agit sur les points et les droites du plan. L'origine est fixée et, par conséquent toutes les droites qui passent par l'origine le sont également.
Demandons-nous si, par hasard, il n'existerait pas une droite conservée par l'application.
Pour cela il suffit que l'image de l'un de ses points soit alignée avec le point et l'origine, c'est-à-dire que les coordonnées du point-image soient proportionnelles aux coordonnées du point de départ.

Soit un tel point de coordonnées (x, y). Les coordonnées (x', y') de son transformé doivent être proportionnelles.

Ses coordonnées vérifient donc un système homogène de deux équations:

On sait qu'un tel système n'admet en général que la solution (0, 0) sauf si les deux équations sont proportionnelles, c'est-à-dire si le déterminant du système est nul.
Le déterminant vaut: (a - k)(d - k) - bc et k est donc solution de l'équation k² - (a + d)k + (ad-bc) = 0
La somme des racines vaut a + d (la somme des éléments de la diagonale, appelée trace) et le produit ad-bc (le déterminant).
Les solutions sont appelées valeurs propres, et les directions ou vecteurs invariants, directions ou vecteurs propres.

Soient k₁ et k₂, les deux solutions de cette équation, et considérons l'une d'elle (que nous noterons tout simplement k).
Comme les deux équations sont proportionnelles prenons l'une d'entre elles:
(a - k)x + by = 0 (si elle se ramenait à 0=0, on prendrait l'autre, et si c'était également le cas pour l'autre, il s'agirait tout simplement d'une homothétie !). La droite qu'elle représente est fixe.
Vérifions:

(a - k)x' + by'

= (a - k)(ax + by) + b(cx + dy) = (a(a - k) + bc)x + ((a - k) + d)by = (a(a - k) + (a-k)(d-k))x + ((a-k) + d)by = (a - k)(a + d - k)x + (a - k + d)by = (a + d - k)[(a - k)x + by]

On voit ainsi que le premier membre de l'équation d'une droite invariante correspondant à l'une des valeurs propres k est multiplié par a+d-k, c'est-à-dire par l'autre valeur propre.
Pour chacune des deux valeurs k₁, k₂ de k on obtient une direction invariante.

En posant:

La transformation est devenue très facile à se représenter:
X'Y' = k₁k₂XY le coefficient vaut précisément le déterminant ad-bc de la transformation. Si le déterminant est négatif nous remplacerons k₂ par -k₂ et moyennant une symétrie par rapport à l'axe X, nous aurons des équations de la même nature.

Les courbes d'équations XY = constante, c'est-à-dire les hyperboles ayant les axes coordonnés comme asymptotes sont invariantes.
Cette application linéaire est appelée "rotation hyperbolique".

L'application linéaire générale est donc la composée d'une rotation hyperbolique, d'une homothétie et, éventuellement d'une symétrie par rapport à un axe coordonné.

Tout cela est bien beau, mais à y regarder de plus près, pas très correct !

Nous avons travaillé avec une équation du second degré et nous avons supposé qu'elle possédait deux solutions réelles.

Ce n'est pas très grave, mais il faut vérifier ce qui se passe lorsque l'équation possède deux solutions égales (cas très particulier) ou deux solutions complexes conjuguées.

Regardons d'abord rapidement le cas exceptionnel où les deux solutions sont confondues.
Il n'y a alors qu'une direction invariante; prenons-la comme axe X, et choisissons une autre direction comme axe Y. Les équations deviennent:

X' = kX Y' = mX + nY

mais comme il n'y a qu'une direction invariante n = k, et que les équations sont le produit d'une homothétie de rapport k par un cisaillement parallèle à l'axe Y d'équations:

X' = X Y' = pX + Y

Le cas où les deux solutions sont complexes conjuguées est plus amusant. Notons les deux solutions k et k* et remarquons que leur produit (le déterminant) est donc positif. Tous les calculs précédents restent valables et se simplifient. On a:

X = (a-k)x + by Y = (a-k*)x + by

et

X' = k*X Y' = kY

Nous avons Y=X*; (n'oublions pas que nous travaillons avec des axes coordonnés complexes !)
Pas de panique; posons tout simplement:

X = U + iV
et
k = r.(cosφ + i.sinφ)

En séparant partie réelle et partie imaginaire, il vient:

U' = r.( Ucosφ + Vsinφ) V' = r.(-Usinφ + Vcosφ)

Comme dans le cas des deux racines réelles distinctes l'application est la composée d'une homothétie de rapport r et d'une rotation, non plus hyperbolique, mais elliptique. Nous retrouvons (si le repère est orthonormé) les équations d'une similitude.

Terminons par un mot au sujet des directions.
Si la droite n'est pas une direction propre:

• dans le cas de deux directions propres, ses transformées se rapprocheront de plus en plus de l'une des deux directions propres, de celle correspondant à la plus grande des 2 valeurs propres (en valeur absolue).
  
• si les deux valeurs propres sont égales, ses transformées se rapprocheront de l'unique direction propre.
  
• enfin, dans le cas où il n'y a pas de valeur propre réelle, la direction de la droite "tourne". Elle peut éventuellement revenir à sa position initiale dans le cas où l'argument du complexe k est un multiple rationnel de π.