数学系中难度较高的课程通常包括：

实变函数：

这门课程研究实数系上定义的函数的基本性质，要求学生具备高度的抽象思维能力和逻辑推理能力。

泛函分析：

作为研究生课程开设，涉及线性空间、线性算子等高级概念，对学生的数学基础要求很高。

拓扑学：

研究几何图形或空间在连续改变形状后还能保持不变的一些性质和关系，概念抽象，证明复杂。

抽象代数 （近世代数）：研究代数结构如群、环和域，具有高度的抽象性，证明通常具有挑战性。

微分几何：

研究微积分在几何中的应用，涉及复杂的概念和技巧，如流形、联络等。

概率论与数理统计：

虽然相比其他课程难度稍低，但涉及的概念广泛，包括随机变量、概率分布、统计量等。

不同学生可能会根据自己的背景和兴趣感受到不同的难度，但上述课程普遍被认为是数学系中最具挑战性的。