[转帖]John Carmack密码：0x5f3759df

FSI

有人在Quake III的源代码里面发现这么一段用来求平方根的代码:<BR/><BR/>/*================SquareRootFloat================*/<BR/><BR/>float SquareRootFloat(float number) {<BR/>    long i;<BR/>    float x, y;<BR/>    const float f = 1.5F;<BR/>    x = number * 0.5F;<BR/>    y  = number;<BR/>    i  = * ( long * ) &amp;y;<BR/>    i  = 0x5f3759df - ( i &gt;&gt; 1 );  //注意这一行<BR/>    y  = * ( float * ) &amp;i;<BR/>    y  = y * ( f - ( x * y * y ) );<BR/>    y  = y * ( f - ( x * y * y ) );<BR/>    return number * y;<BR/>}<BR/><BR/>0x5f3759df？ 这是个什么东西？ 学过数值分析就知道，算法里面求平方根一般采用<BR/>的是无限逼近的方法，比如牛顿迭代法，抱歉当年我数值分析学的太烂，也讲不清楚<BR/>。简单来说比如求5的平方根，选一个猜测值比如2，那么我们可以这么算<BR/><BR/>5/2 = 2.5; 2.5+2/2 = 2.25; 5/2.25 = xxx; 2.25+xxx/2 = xxxx ...<BR/>这样反复迭代下去，结果必定收敛于sqrt(5)，没错，一般的求平方根都是这么算的<BR/>。而卡马克的不同之处在于，他选择了一个神秘的猜测值0x5f3759df作为起始，使得<BR/>整个逼近过程收敛速度暴涨，对于Quake III所要求的精度10的负三次方，只需要一<BR/>次迭代就能够得到结果。<BR/><BR/>好吧，如果这还不算牛b，接着看。<BR/><BR/>普渡大学的数学家Chris Lomont看了以后觉得有趣，决定要研究一下卡马克弄出来的<BR/>这个猜测值有什么奥秘。Lomont也是个牛人，在精心研究之后从理论上也推导出一个<BR/>最佳猜测值，和卡马克的数字非常接近, 0x5f37642f。卡马克真牛，他是外星人吗？<BR/><BR/><BR/>传奇并没有在这里结束。Lomont计算出结果以后非常满意，于是拿自己计算出的起始<BR/>值和卡马克的神秘数字做比赛，看看谁的数字能够更快更精确的求得平方根。结果是<BR/>卡马克赢了... 谁也不知道卡马克是怎么找到这个数字的。<BR/><BR/>最后Lomont怒了，采用暴力方法一个数字一个数字试过来，终于找到一个比卡马克数<BR/>字要好上那么一丁点的数字，虽然实际上这两个数字所产生的结果非常近似，这个暴<BR/>力得出的数字是0x5f375a86。<BR/><BR/>Lomont为此写下一篇论文，"Fast Inverse Square Root"。<BR/><BR/>John Carmack， ID的无价之宝。<BR/><BR/>来源blog：http://jan.yculblog.com/<BR/><BR/>

FSI

zz <BR/><BR/>http://bbs.gameres.com/showthread.asp?threadid=46513<BR/><BR/>日前在书上看到一段使用多项式逼近计算平方根的代码，至今都没搞明白作者是怎样推算出那个公式的。但在尝试解决问题的过程中，学到了不少东西，于是便有了这篇心得，写出来和大家共享。其中有错漏的地方，还请大家多多指教。<BR/><BR/>的确，正如许多人所说的那样，现在有有FPU，有3DNow，有SIMD，讨论软件算法好像不合时宜。关于sqrt的话题其实早在2003年便已在 GameDev.net上得到了广泛的讨论（可见我实在非常火星了，当然不排除还有其他尚在冥王星的人，嘿嘿）。而尝试探究该话题则完全是出于本人的兴趣和好奇心（换句话说就是无知）。<BR/><BR/>我只是个beginner，所以这种大是大非的问题我也说不清楚（在GameDev.net上也有很多类似的争论）。但无论如何，Carmack在DOOM3中还是使用了软件算法，而多知道一点数学知识对3D编程来说也只有好处没坏处。3D图形编程其实就是数学，数学，还是数学。<BR/><BR/>文章原本是用HTML编排的，所以只截取了部分有比较有趣的东西放在这里。原文在我的个人主页上，同时也提供了2篇论文的下载：http://greatsorcerer.go2.icpcn.com/info/fastsqrt.html<BR/><BR/>=========================================================<BR/><BR/>在3D图形编程中，经常要求平方根或平方根的倒数，例如：求向量的长度或将向量归一化。C数学函数库中的sqrt具有理想的精度，但对于3D游戏程式来说速度太慢。我们希望能够在保证足够的精度的同时，进一步提高速度。<BR/><BR/>Carmack在QUAKE3中使用了下面的算法，它第一次在公众场合出现的时候，几乎震住了所有的人。据说该算法其实并不是Carmack发明的，它真正的作者是Nvidia的Gary Tarolli（未经证实）。<BR/>－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－<BR/>//<BR/>// 计算参数x的平方根的倒数<BR/>//<BR/>float InvSqrt (float x)<BR/>{<BR/>float xhalf = 0.5f*x;<BR/>int i = *(int*)&amp;x;<BR/>i = 0x5f3759df - (i &gt;&gt; 1); // 计算第一个近似根<BR/>x = *(float*)&amp;i;<BR/>x = x*(1.5f - xhalf*x*x); // 牛顿迭代法<BR/>return x;<BR/>}<BR/>－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－<BR/>该算法的本质其实就是牛顿迭代法（Newton-Raphson Method，简称NR），而NR的基础则是泰勒级数（Taylor Series）。NR是一种求方程的近似根的方法。首先要估计一个与方程的根比较靠近的数值，然后根据公式推算下一个更加近似的数值，不断重复直到可以获得满意的精度。其公式如下：<BR/>－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－<BR/>函数：y=f(x)<BR/>其一阶导数为：y'=f'(x)<BR/>则方程：f(x)=0 的第n+1个近似根为<BR/>x[n+1] = x[n] - f(x[n]) / f'(x[n])<BR/>－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－<BR/>NR最关键的地方在于估计第一个近似根。如果该近似根与真根足够靠近的话，那么只需要少数几次迭代，就可以得到满意的解。<BR/><BR/>现在回过头来看看如何利用牛顿法来解决我们的问题。求平方根的倒数，实际就是求方程1/(x^2)-a=0的解。将该方程按牛顿迭代法的公式展开为：<BR/>x[n+1]=1/2*x[n]*(3-a*x[n]*x[n])<BR/>将1/2放到括号里面，就得到了上面那个函数的倒数第二行。<BR/><BR/>接着，我们要设法估计第一个近似根。这也是上面的函数最神奇的地方。它通过某种方法算出了一个与真根非常接近的近似根，因此它只需要使用一次迭代过程就获得了较满意的解。它是怎样做到的呢？所有的奥妙就在于这一行：<BR/>i = 0x5f3759df - (i &gt;&gt; 1); // 计算第一个近似根<BR/><BR/>超级莫名其妙的语句，不是吗？但仔细想一下的话，还是可以理解的。我们知道，IEEE标准下，float类型的数据在32位系统上是这样表示的（大体来说就是这样，但省略了很多细节，有兴趣可以GOOGLE）：<BR/>－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－<BR/>bits：31 30 ... 0<BR/>31：符号位<BR/>30-23：共8位，保存指数（E）<BR/>22-0：共23位，保存尾数（M）<BR/>－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－<BR/>所以，32位的浮点数用十进制实数表示就是：M*2^E。开根然后倒数就是：M^(-1/2)*2^(-E/2)。现在就十分清晰了。语句i&gt; &gt;1其工作就是将指数除以2，实现2^(E/2)的部分。而前面用一个常数减去它，目的就是得到M^(1/2)同时反转所有指数的符号。<BR/><BR/>至于那个0x5f3759df，呃，我只能说，的确是一个超级的Magic Number。<BR/><BR/>那个Magic Number是可以推导出来的，但我并不打算在这里讨论，因为实在太繁琐了。简单来说，其原理如下：因为IEEE的浮点数中，尾数M省略了最前面的1，所以实际的尾数是1+M。如果你在大学上数学课没有打瞌睡的话，那么当你看到(1+M)^(-1/2)这样的形式时，应该会马上联想的到它的泰勒级数展开，而该展开式的第一项就是常数。下面给出简单的推导过程：<BR/>－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－<BR/>对于实数R&gt;0，假设其在IEEE的浮点表示中，<BR/>指数为E，尾数为M，则：<BR/><BR/>R^(-1/2)<BR/>= (1+M)^(-1/2) * 2^(-E/2)<BR/><BR/>将(1+M)^(-1/2)按泰勒级数展开，取第一项，得：<BR/><BR/>原式<BR/>= (1-M/2) * 2^(-E/2)<BR/>= 2^(-E/2) - (M/2) * 2^(-E/2)<BR/><BR/>如果不考虑指数的符号的话，<BR/>(M/2)*2^(E/2)正是(R&gt;&gt;1)，<BR/>而在IEEE表示中，指数的符号只需简单地加上一个偏移即可，<BR/>而式子的前半部分刚好是个常数，所以原式可以转化为：<BR/><BR/>原式 = C - (M/2)*2^(E/2) = C - (R&gt;&gt;1)，其中C为常数<BR/><BR/>所以只需要解方程：<BR/>R^(-1/2)<BR/>= (1+M)^(-1/2) * 2^(-E/2)<BR/>= C - (R&gt;&gt;1)<BR/>求出令到相对误差最小的C值就可以了<BR/>－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－<BR/>上面的推导过程只是我个人的理解，并未得到证实。而Chris Lomont则在他的论文中详细讨论了最后那个方程的解法，并尝试在实际的机器上寻找最佳的常数C。有兴趣的朋友可以在文末找到他的论文的链接。<BR/><BR/>所以，所谓的Magic Number，并不是从N元宇宙的某个星系由于时空扭曲而掉到地球上的，而是几百年前就有的数学理论。只要熟悉NR和泰勒级数，你我同样有能力作出类似的优化。<BR/><BR/>在GameDev.net上有人做过测试，该函数的相对误差约为0.177585%，速度比C标准库的sqrt提高超过20%。如果增加一次迭代过程，相对误差可以降低到e-004 的级数，但速度也会降到和sqrt差不多。据说在DOOM3中，Carmack通过查找表进一步优化了该算法，精度近乎完美，而且速度也比原版提高了一截（正在努力弄源码，谁有发我一份）。<BR/><BR/>值得注意的是，在Chris Lomont的演算中，理论上最优秀的常数（精度最高）是0x5f37642f，并且在实际测试中，如果只使用一次迭代的话，其效果也是最好的。但奇怪的是，经过两次NR后，在该常数下解的精度将降低得非常厉害（天知道是怎么回事！）。经过实际的测试，Chris Lomont认为，最优秀的常数是0x5f375a86。如果换成64位的double版本的话，算法还是一样的，而最优常数则为0x5fe6ec85e7de30da（又一个令人冒汗的Magic Number - -b）。<BR/><BR/>这个算法依赖于浮点数的内部表示和字节顺序，所以是不具移植性的。如果放到Mac上跑就会挂掉。如果想具备可移植性，还是乖乖用sqrt好了。但算法思想是通用的。大家可以尝试推算一下相应的平方根算法。<BR/><BR/>下面给出Carmack在QUAKE3中使用的平方根算法。Carmack已经将QUAKE3的所有源代码捐给开源了，所以大家可以放心使用，不用担心会受到律师信。<BR/>－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－<BR/>//<BR/>// Carmack在QUAKE3中使用的计算平方根的函数<BR/>//<BR/>float CarmSqrt(float x){<BR/>union{<BR/>int intPart;<BR/>float floatPart;<BR/>} convertor;<BR/>union{<BR/>int intPart;<BR/>float floatPart;<BR/>} convertor2;<BR/>convertor.floatPart = x;<BR/>convertor2.floatPart = x;<BR/>convertor.intPart = 0x1FBCF800 + (convertor.intPart &gt;&gt; 1);<BR/>convertor2.intPart = 0x5f3759df - (convertor2.intPart &gt;&gt; 1);<BR/>return 0.5f*(convertor.floatPart + (x * convertor2.floatPart));<BR/>}<BR/><BR/>

zhang_xm

<P>看不大懂！</P>