ROC曲线分析及诊断分界点确定程序

A computer program for receiver operating characteristic

curve analysis and diagnostic cut 2off choice

CHEN Ying 2m ao ,TIA N Jia 2he ,GEN G Jian 2hua ,YIN Da 2yi ,S HA O Ming 2z he ,CHEN S heng 2z u

(Depart ment of N uclear Medicine ,General Hospital of PL A ,Beijing 100853,China )

[Abstract]　Objective To present a new computer program for ROC analysis and diagnostic cut 2off choice.Methods The pro 2gram algorithm was based on non 2parametric and parametric ROC curve analysis theory.In order to validate the program ,three groups of data were processed using SPSS ,Analyse 2it and the program.Finally the program was used to estimate the discrimina 2tion efficiency of the maximum standardized uptake value (SUV )and average SUV in PET FD G images for 126cases of lung tu 2mor patients (the benign 39,the malignant 87).R esults ①The program provided the functions of both parametric and non 2para 2metric ROC curve analysis ,determined three typical diagnostic cut 2off points ,and calculated sensitivity ,specificity ,accuracy ,and other diag

nostic indexes.②For the three groups of data ,the test showed that the ROC analysis results with the program is same to those with SPSS and Analyse 2it.③Clinical application showed that the discriminative power of the average SUV was slightly higher than that of the maximum SUV ,but the difference was not significant.Conclusion The program is accurate and credible and has more functions.It can perform both parametric and non 2parametric ROC curve analysis ,determine diagnostic cut 2off point ,and calculate the diagnostic indexes ,such as sensitivity ,specificity and accuracy. [K ey w ords]　ROC curve ;Diagnostic cut 2off ;Computer program

ROC 曲线分析及诊断分界点确定程序

陈英茂1,⽥嘉⽲1，耿建华2，尹⼤⼀1，邵明哲1，陈盛祖2

(1.中国⼈民解放军总医院核医学科，北京　100853;2.中国协和医科⼤学中国医学科学院肿瘤医院核医学科)[摘　要]　⽬的　介绍⼀种新开发的ROC 分析软件。⽅法　①依据⾮参数法和参数法ROC 分析理论建⽴算法。②对⽂

献中3套数据分别⽤本软件、SPSS 及Analyse 2it 软件进⾏ROC 分析验证。③应⽤：肺部良性39，恶性87例的PET FD G 图像的SUV 最⼤值及平均值鉴别良恶性效能评估。结果　①软件主要功能：提供⾮参数和参数法两种ROC 分析；确定3个典型诊断分界点；计算诊断符合率评价指标。②软件验证:3

个软件对3套数据的分析结果完全相同。③应⽤实例:SUV 平均值的诊断效能稍好，但差异⽆显著性。结论　该软件不仅具有较完整的ROC 分析功能,⽽且还具有确定诊断分界点，提供多种诊断符合率指标的功能，是⽬前性能较完整的软件。

[关键词]　ROC 曲线；诊断分界点；计算机程序

[中图分类号]　R817　[⽂献标识码]　A [⽂章编号]　100323289(2004)0420614204

[基⾦项⽬]全军医药卫⽣科研基⾦课题(01MA120)。92号汽油最新价格

[作者简介]陈英茂(1960-)，男，河北深泽⼈，硕⼠，副教授。研究⽅

向：核医学图像定量分析及质量控制。E 2mail : @www.doczj/doc/9bdd94c00c22590102029de5.html

[收稿⽇期]2003210206

评价⼀种诊断技术的传统⽅法是使⽤灵敏度、特异性、准确率等指标。但是这些指标受主观选定分界点的影响，难以准确反映诊断⽅法的优劣。受试者⼯作特性曲线(receiver operating characteristic ,ROC )[1]，与诊断分界点⽆关，能客观地反映诊断⽅法对疾病的鉴别能⼒。早在上个世纪60年代它就

被引⼊医学中⽤于评估医学影像设备[2]，医学影像诊断中的结果多为等级分类资料，处理这类数据是ROC 曲线分析

的优势之⼀[3]。ROC 曲线分析分⾮参数法和参数法两种。⾮参数法直接由试验数据产⽣ROC 曲线，参数法是通过ROC 数学模型产⽣ROC 曲线。⽬前国外已有的ROC 分析软件多数采⽤⾮参数法ROC 分析，个别程序包含以变量双正态分布为前提的参数法ROC 曲线分析功能[4,5]。国内尚未见ROC 分析软件的报道，本⽂介绍⼀种作者新开发的ROC 分析软件(ROC cut 2off )，该软件除了提供⾮参数法和以累积logistic 模型[3]为基础的参数法ROC 分析功能外，还具有以参数法为基础确定最佳分界点的功能。1　理论依据

1.1基本概念　评价⼀种诊断技术需要与“⾦标准”结果⽐较，由⽐较矩阵可⽅便计算各符合率指标(表1)。

表1　⽐较矩阵(诊断指标>分界点为异常)“⾦标准”结果异常正常总例数

suv比较

诊断指标>分界点a b a+b

诊断指标<；分界点c d c+d

总例数m=a+c n=b+d m+n

注:a、b、c、d为例数

灵敏度(Se)=a/m;

特异性(Sp)=d/n;

准确率(Ac)=(a+d)/(m+n);

Y ouden’s指数(Y i)=a/m-b/n;

阳性概率⽐(L R+)=a/b;

阴性概率⽐(L R-)=c/d。

ROC曲线：即以“灵敏度”为纵坐标，以“1-特异性”为横坐标所画的曲线。灵敏度与特异性随诊断变量(指标)分界点的值⽽变化。

1.2⾮参数法ROC分析

ROC曲线：分界点遍历所有值，由实验数据即得到相对应的系列灵敏度与特异性。

ROC曲线下⾯积Az：根据Wilcoxon Mann2Whitey统计量计算,Az=异常组每个测定值⼤于正常组每个测定值的概率[7]。

Az的标准误(SEz)：具体计算公式见⽂献[6]。

两个诊断指标的Az⽐较：两个指标的诊断效能是否有显著性差异的统计检验依据⽂献[7]介绍的⾮参数检验法处理。

1.3参数法ROC分析

ROC模型的概率函数使⽤累积logistic函数[3]，并由极⼤似然法估计模型的参数β。

ROC曲线⽅程:Se=1/[1+e-β((1-Sp)-1-1)]。

ROC曲线下⾯积:Az=1+1/(eβ-1)-β?eβ/(eβ-1)2。

Az的标准误:SEz=SEβ?eβ[β?(eβ+1)-2(eβ-1)]/(eβ-1)3。SEβ为β参数估计值的标准误。

2　软件的功能

2.1ROC曲线分析　提供两种⽅法,⼀是⾮参数法：直接由试验数据画折线图，并计算Az及Az的标准误。

⼆是参数法：使⽤累积logistic模型拟合试验数据，确定模型参数，得到ROC曲线⽅程，曲线下Az及Az标准误。使⽤⾮参数检验法对多条ROC曲线的Az进⾏两两⽐较，给出检验统计量u及P 值。

2.2诊断分界点的确定　图形：直接由试验数据画灵敏度、特异性、准确率及Y ouden’s指数随分界点变化的折线图；及由累积logistic模型拟合试验数据得到相应各指标的曲线⽅程图。

诊断分界点：由各指标的曲线⽅程确定准确率最⼤值、Y ouden’s指数最⼤值、及灵敏度与特异性曲线的交点所对应的分界点值。

汽车之家2020年最新汽车报价

2.3诊断符合率评价指标　提供各分界点值作为诊断标准时所对应的灵敏度、特异性、准确率、Y ouden’s指数、阳性概率⽐及阴性概率⽐。

2.4试验数据的分布　正常组和异常组数据的频数图。

3　软件的验证

⽂献[6]中介绍了⾮参数ROC分析的⽅法，表2和表3数据为提供的例⼦。⽂献[7]中介绍了ROC曲线下⾯积⽐较的⾮参数检验⽅法，例⼦为⽐较两个癌症辅助诊断指标(ATP 和SDH酶活性)的诊断效能。SPSS及Analyse2it软件包提供了⾮参数ROC分析功能。对⽂献[6]、[7]中提供的例⼦，分别⽤本软件、SPSS及Analyse2it进⾏了ROC分析，并与该⽂献结果⽐较，结果见表2,3。

表2　对⽂献[6]中数据的ROC分析结果⽐较

本软件

⾮参数法参数法

SPSS

⾮参数法

Analyse2it

⾮参数法

⽂献结果

⾮参数法

分类资料

0.7797

0.0404

0.7861

0.0019

0.0404

0.7797

0.0403

计量资料

0.7170

0.0526

0.7231

0.0045

表3　对⽂献[7]中数据的ROC分析结果⽐较本软件

⾮参数法参数法

SPSS

⾮参数法

Analyse2it

⾮参数法

⽂献结果

⾮参数法

A TP

0.9844

0.0069

0.9743

0.0013

0.9844

0.0069

0.9844

0.0069

0.9844

-SDH

0.9662

0.0127

0.9662

0.0127

0.9662

A TP与

SDH⽐较

U值

0.033

>0.05

4　应⽤实例

在PET(正电⼦发射体层显像)18F2FD G(18F2氟脱氧葡萄糖)肿瘤的图像中,SUV(标准摄取值)是辅诊的主要定量指标。这⾥对126例肺部肿瘤(良性39例，恶性87例)的SUV 最⼤值及SUV平均值(70%等⾼线画感兴趣区ROI)鉴别肿瘤良恶性效能进⾏ROC分析，并确定诊断分界点。

图1～4为本软件ROC分析结果的⽰例，图2～4中只给出了SUV最⼤值的情况,SUV平均值的情况与此相似，未画出。表4为各诊断分界点所对应的灵敏度、特异性、准确率、Y ouden’s指数、阳性概率⽐及阴性概率⽐。

5　讨论

⽬前国外有关ROC分析的软件已超过10种[4,8]，但国内尚未见此类软件的报道。最近Stephan[4]对其中的8种

(AccuROC,Analyse2It,CMDT,GraphROC,MedCalc, mROC,ROCKIT,SPSS)就ROC软件使⽤的难易性、数学理论的正确性、输出结果的完整性及与其他程序的兼容性进⾏了⽐较评估。虽然所有程序都能给出相等的主要结果，但每个程序都有不⾜。Analyse2it、AccuROC、MedCalc 三个程序展⽰了较好的性能。只有mROC和ROCKIT有参数法分析功能。我们的软件与Analyse2it、SPSS及⽂献的结果完全相等(表2、3中⾮参数法)，同时还能给出参数法的分析结果(Analyse2it,SPSS⽆参数法ROC分析)。⾮参数法完全依赖于实际数据，受抽样误差及样本含量的影响，其结果不够稳定

表4　各诊断分界点的符合率评价

分界点

灵敏度

特异性

准确率

Y ouden ’s 指数

阳性概率⽐

阴性概率⽐

2.385(Ac 最⼤)0.8740.4830.7600.375 1.6910.261SUVMax

3.446(Y i 最⼤)0.7480.6810.7310.437 2.3440.3703.657(Se 交Sp )0.7150.7150.7170.434 2.5120.3982.075(Ac 最⼤)0.8790.5260.7680.411

1.8550.230SUVMean

2.825(Y i 最⼤)0.7570.7160.7420.471 2.6650.3402.919(Se 交Sp )

0.736

0.734

358

长城mini图1　两种SUV 取法的ROC 曲线、⾯积、标准误及⾯积⽐较结果。折线为实际数据(

2016年11月汽车销量排行榜⾮参数法)，平滑线为模型结果(参数法)

图2　SUV 最⼤值的灵敏度、特异性随分界点的变化及交点分界点值。点线为实际数据(⾮参数法)，连线为模型拟合结果(参数法)

。参数法以数学模型为基础，克服了⾮参数法的缺点，结果更

接近于总体情况，但较复杂，且以数据满⾜双正态分布为前提。本程序参数法使⽤累积logistic 模型及极⼤似然法估计参数，优点是不要求数据为双正态分布，计算的Az 与⾮参数法很接近，标准误较⼩。

准确率、Y ouden ’s 指数、灵敏度及特异性都是评价诊断效能的指标，这些指标都是诊断分界点的函数，其中准确率和Y ouden ’s

指数存在极值(最⼤值),⽽灵敏度和特异性是⼀对

图3　SUV 最⼤值的准确率、Y ouden ’s 指数随分界点的变化及最⼤值对应的分界点值。点线为实际数据(⾮参数法

)，连线为模型拟合

自驾游注意事项结果(参数法)

ROC曲线分析及诊断分界点确定程序

发布评论取消回复

最近发表

热门文章

标签列表