Klein obtint son doctorat en 1868 à l'université de Bonn où il étudia les mathématiques et la physique. Après avoir enseigné dans diverses universités il obtint une chaire à l'université de Göttingen en 1886. Il y enseigna jusqu'à sa retraite en 1913.

Klein fonda un centre de recherche à Göttingen qui servit de modèle aux meilleurs centres de recherches en mathématiques. Il instaura des réunions hebdomadaires de discussions, une salle de lecture avec une bibliothèque mathématique. Klein amena Hilbert de Königsberg pour rejoindre son équipe de recherche à Göttingen.

La réputation des Mathematische Annalen est due aux capacités de gestion et aux qualités mathématiques de Klein. Il avait mis sur pied une équipe de rédacteurs qui se réunissait régulièrement et prenait des décisions de manière démocratique.

La vision de Klein de la géométrie comme l'étude des propriétés d'un espace invariantes pour un groupe de transformations, connu sous le nom de programme d'Erlangen, influença profondément le développement des mathématiques. Cette vision apparut après un travail commun avec son ami Sophus Lie.

Il est principalement connu pour ses travaux en géométries non euclidiennes, pour ses recherches sur les liens entre la géométrie et la théorie des groupes et pour ses résultats en théorie des fonctions.

Les transformations jouent un rôle essentiel dans les mathématiques modernes et Klein montra comment les propriétés essentielles d'une géométrie donnée pouvaient être représentées par le groupe des transformations qui conservaient ces propriétés. De la manière dont le programme d'Erlangen définissait la géométrie, on y incluait à la fois la géométrie euclidienne et non euclidienne.

Il est également célèbre pour sa "bouteille": une bouteille de Klein est une surface fermée unilatère. Un tel objet ne peut pas être construit dans un espace euclidien. Il est le mieux défini comme un cylindre dont une extrémité est retournée et jointe à son autre extrémité. Toutefois ce n'est pas une surface régulière de l'espace à trois dimensions puisqu'elle ne peut se traverser sans une discontinuité. Il est possible de construire une bouteille de Klein dans un espace non euclidien.

Klein fut élu membre de la Royal Society en 1885 et reçut de celle-ci la médaille Copley en 1912.