胡中惠出生于中国湖南省的一个农村家庭，家境贫寒但父母非常重视教育。他从小就对数学表现出极大的兴趣和天赋，初中时就获得了中国数学奥林匹克金牌。后来，他考入中国科学技术大学学习数学，并于1991年获得学士学位。随后，他前往美国普林斯顿大学攻读博士学位，他的导师是著名数学家Andrew Wiles。在求解费马大定理的过程中，他也发表了重要的文章。
毕业后，胡中惠在多所大学和研究机构工作，并成为了世界数学界的著名人物之一。2004年，他的工作成果获得了菲尔兹奖的提名。然而，他最终并没有获得该奖项，这被认为是数学界的一个巨大争议。在胡中惠的贡献之中，最为人所知的是他提出的哈德玛矩阵(construction of Hadamard matrices) 问题，这个问题被认为是极其难解的数学难题。
除了在学术界的成就外，胡中惠还是一名信仰虔诚的基督徒。他卷入过一些政治争议，但因病去世前，他的师生和同行都记得他作为一位仁慈、聪明的人。
