共役勾配法の計算手順において,残差&ref(ls_krylov.eq1.gif,nolink,70%);を用いた. この残差はどこから来たのかを考える. まず,&ref(ls_krylov.eq2.gif,nolink,70%);は #ref(ls_krylov.eq3.gif,nolink,70%) とかける.これを反復式とすると, #ref(ls_krylov.eq4.gif,nolink,70%) これで残差ベクトルがでてきた. さらに残差ベクトル間の関係を調べる. #ref(ls_krylov.eq5.gif,nolink,70%) よって, #ref(ls_krylov.eq6.gif,nolink,70%) 同様に&ref(ls_krylov.eq7.gif,nolink,70%);に関しても, #ref(ls_krylov.eq8.gif,nolink,70%) これらの式から,&ref(ls_krylov.eq9.gif,nolink,70%);,&ref(ls_krylov.eq10.gif,nolink,70%);は&ref(ls_krylov.eq11.gif,nolink,70%); の線形結合で表されることがわかる.これを式にすると, #ref(ls_krylov.eq12.gif,nolink,70%) #ref(ls_krylov.eq13.gif,nolink,70%) ここで,&ref(ls_krylov.eq14.gif,nolink,70%);はベクトル&ref(ls_krylov.eq15.gif,nolink,70%);の線形結合の集合で表される部分空間であり, 上式のような部分空間をクリロフ部分空間と呼ぶ. #ref(ls_krylov.eq16.gif,nolink,70%) &ref(ls_krylov.eq17.gif,nolink,70%);の次元nは近似解を求めるための反復ごとに増えていく. そして,クリロフ部分空間内の任意の点は&ref(ls_krylov.eq18.gif,nolink,70%);と書ける. ここで&ref(ls_krylov.eq19.gif,nolink,70%);は次元がm-1以下の多項式を表している. つまり,クリロフ部分空間内の点はAに関するm-1次以下の多項式と&ref(ls_krylov.eq20.gif,nolink,70%);の積の形で書き表せる. &ref(ls_krylov.eq21.gif,nolink,70%);からクリロフ部分空間&ref(ls_krylov.eq17.gif,nolink,70%);の中を探索することで解を得る非定常な反復解法のことを クリロフ部分空間法と呼ぶ.共役勾配法もクリロフ部分空間法のひとつである (ヤコビ反復やガウス・ザイデルは定常な反復解法). クリロフ部分空間法としては他に, -双共役勾配法(Bi-Conjugate Gradient method : BiCG法) -安定化双共役勾配法(Bi-Conjugate Gradient STABilized method : BiCGSTAB法) -自乗共役勾配法(Conjugate Gradiate Squared method : CGS法) -共役残差法(Conjugate Residual method : CR法) -一般化共役残差法(Generalized Conjugate Residual method : GCR法) -一般化最小残差法(Generalized Minimal RESidual method : GMRES法) などが提案されている.