shithub: libvpx

Info  •  Files  •  Log  •  Branches

avoid signed mismatch warning in gcc

Change-Id: I9d995178fd764be252e571fa23901da0f991bbb8

--- a/vp9/encoder/vp9_rd.c

+++ b/vp9/encoder/vp9_rd.c

@@ -313,8 +313,8 @@

     int d_q10, r_q10;

     const uint64_t xsq_q10_64 =

         ((((uint64_t)qstep * qstep * n) << 10) + (var >> 1)) / var;

-    const int xsq_q10 = xsq_q10_64 > MAX_XSQ_Q10 ?

-                        MAX_XSQ_Q10 : (int)xsq_q10_64;

+    const int xsq_q10 = xsq_q10_64 > (uint64_t)MAX_XSQ_Q10 ?

+                        (int)MAX_XSQ_Q10 : (int)xsq_q10_64;

     model_rd_norm(xsq_q10, &r_q10, &d_q10);

     *rate = (n * r_q10 + 2) >> 2;

     *dist = (var * (int64_t)d_q10 + 512) >> 10;