Une méthode fort ancienne (abusivement attribuée à Platon) permettait d'extraire la racine carrée d'un nombre par un procédé itératif. Pour calculer la racine carrée x d'un nombre n on partait d'une valeur approchée x₀ de x, et on utilisait la formule:
Si le procédé converge, pour i suffisamment grand et on a:
ou encore x² + x = x + n, c'est-à-dire que x vaut donc la racine carrée de n.

Si on est parti d'une valeur positive x₀ on obtient la racine carrée de n. Toutefois la convergence est lente: à titre d'exemple, calculons la racine carrée de 2 en partant de 1; on obtient successivement 1, 3/2, 7/5, 17/12, 41/29, 99/70, 239/169, 577/408,....Ne pourrait-on pas améliorer la vitesse de convergence?

Reprenons le calcul qui nous montrait que la valeur limite de x était précisément la racine carrée de n; le résultat aurait été le même si on était parti de qui possède les mêmes points fixes.
Peut-on jouer sur le choix de k afin d'améliorer la convergence? L'idéal serait d'aboutir au résultat après une seule itération; on aurait:
ainsi, quelle que soit la valeur de i les approximations seraient toujours les mêmes et égales à la racine carrée cherchée. La valeur de k est alors déterminée par l'équation:
ou encore . Il faudrait donc choisir k égal à la racine carrée de n: or c'est précisément ce que l'on cherche à calculer.
Alors faute de mieux on peut choisir pour k la meilleure valeur connue à cette étape c'est-à-dire x_i, l'approximation d'ordre i. La formule d'itération devient:
En reprenant l'exemple du calcul de la racine carrée de 2 à partir de 1 on obtient 1, 3/2, 17/12, 577/408,... et la convergence est nettement plus rapide.

Une autre manière d'arriver à cette formule (dite de Héron) est de raisonner comme suit: soit x₀ une valeur de départ pour le calcul de la racine carrée de n. Pour vérifier si elle convient calculons le quotient de n par x₀; en général on trouvera une valeur différente de x₀, mais cette valeur et x₀ encadreront la racine carrée cherchée. On améliorera la valeur en prenant la moyenne arithmétique de ces deux nombres:
et ainsi de suite.

Si l'on voit les choses sous cet angle on peut évidemment se demander pourquoi avoir choisi la moyenne arithmétique et non une autre moyenne, harmonique, géométrique ou même arithmétique pondérée. En fait si x_i, l'approximation d'ordre i, vaut (1 + ε) fois la valeur exacte, le quotient de n par x_ivaut approximativement (1 - ε) fois cette valeur (ε est l'erreur relative commise); par conséquent la moyenne arithmétique convient parfaitement (de même que la moyenne harmonique).

On peut appliquer la même idée pour la recherche d'une racine cubique. Soit x₀ une approximation de la racine cubique de n; on obtient un encadrement par l'intervalle:
et de nouveau on peut améliorer l'approximation en choisissant une valeur intermédiaire; mais dans ce cas quelle moyenne adopter? Si x₀ vaut (1 + ε) fois la valeur exacte, le quotient de n par x₀ vaudra approximativement (1 - 2ε) fois cette valeur. On approchera donc le mieux la racine cubique en prenant cette fois la moyenne pondérée (2, 1) des deux extrémités de l'intervalle soit:
Plus généralement pour extraire la racine d'ordre k de n la formule d'itération est:
Enfin une autre manière de voir les choses conduit à la formule de Newton qui possède un champ d'application plus large: soit x_i une approximation d'ordre i de la racine carrée de n; la valeur exacte est x_i + ε; cherchons à déterminer ε: mais le carré de l'erreur ε peut être considéré comme négligeable, d'où:

Cette méthode se généralise à la recherche d'une solution de l'équation f (x) = k. Si x_i est une approximation et x_i + ε la valeur exacte, on obtient en développant en série:
et en négligeant les termes carrés en ε on a:
La convergence de cette méthode est assez bonne et dépend du signe de la dérivée seconde. Dans le cas d'une extraction de racine on est assuré de la validité de la méthode de Newton.