医学影像设备对人体进行成像，给出的医学图像包含人体内部信息。然而，这些信息是否能为医生以及计算机辅助诊断系统所接受并加以分析和诊断，就需要将设备给出的数据按照医生和系统的要求加以处理和解释，转换成医生和系统可以接受的形式，这个过程就是医学图像的处理过程。
　　医学图像处理可以分为两部分：医学图像的前处理和医学图像后处理。医学图像的前处理通常是指在医学影像设备给出的原始数据层面的处理过程。比如通过若当变换和傅里叶变换将 CT 的投影数据和 MRI 的k 空间数据变成断层图像的重建过程，以及在原始数据层面上进行的去噪、增强等处理。这一步是使得影像设备可以和医生进行沟通的重要过程。而医学图像后处理的目的主要有两个：
　　改善人对图像观测时的可视化程度；准备某种具有特定性质的图像，以便满足在临床和研究工作中对特定组织功能和结构观察、测量的需要。具体的实现技术可以分为：图像增强技术、图像分割技术、图像配准技术、图像融合技术、图像显示技术、图像指导治疗、图像引导手术、医学虚拟环境。
　　随着医学影像设备的不断发展，医生诊断过程中使用到的医学图像信息大量地增长。一方面，这些图像信息使原先无法开展的一些诊断和治疗成为可能；另一方面，海量的信息也逐渐超出了医生所能处理的范围。为了使医学影像设备带来便利以及医学图像提供的信息能被医生有效地利用，同时减轻医生的工作负担，在计算机技术不断发展的基础上，基于医学图像的计算机辅助诊断和治疗技术正在逐渐兴起。
　　基于医学图像的计算机辅助诊断技术（）的核心是将各种影像设备产生的图像使用计算机进行定量分析，找出医生诊断所需的各种数据，将其与病人的生理测量数据一起进行综合判断，最后根据医生的需求给出辅助的诊断结果。基于医学图像的计算机辅助诊断技术还需要建立相应的图像和病人信息数据库，使用医学图像分析技术配合统计和数据挖掘的方法来给出辅助诊断的结果。如美国已建立了较为完善的用于乳腺癌普查和诊断用的数据库。计算机辅助诊断的一个重要的目的是减少医生的工作量，比如临床上通过显微镜进行细胞学和病理学的检查，医生每天要进行大量的阅片工作。使用计算机辅助诊断技术可以对涂片进行筛查，对可能存在病变的片子给出危险度分析，并粗略识别病变种类，留给医生确诊。另一个开展研究较多的技术是虚拟直肠镜技术。该技术以CT直肠图像为基础，对图像进行三维重建及显示，虚拟光学直肠镜的环境。并且对直肠内可能存在的息肉进行识别，提示医生重点观察，并配合其他影像数据以及活检结果进行确诊。
　　基于医学图像的计算机辅助治疗包括手术计划、手术导航、放疗计划系统几个方面。虚拟现实技术是手术计划、手术导航技术的基础。手术计划是在手术前利用医学图像和虚拟现实技术，使医生对患者的疾病部位、手术器械的使用、和手术的过程获得一些有用的经验，以及制定相应的手术方案。手术导航的目标是在最大限度降低手术创伤的同时达到最佳的手术效果。其方法分为两种，第一种是依赖术前患者的医学成像数据和医学图像而制定的手术方案，适用于手术对象在术前术中位置和形状不会出现明显变动的情况。第二种是结合在手术期间成像的数据进行实时导航。这种方法通常在术中进行快速成像，确定病灶和组织实时的位置、形状变化，然后将术前采集到的图像信息和术中的图像进行配准融合，比如将术前采集的功能图像和术中得到的结构像进行配准融合，指导手术进行。
　　这两种方法必须在计算机辅助下实现医学图像的可视化和精确的目标定位。治疗计划的代表是放疗计划系统。放射治疗需要对病灶进行准确定位，内容包括对患者治疗靶点的空间定位、把经过优化的治疗计量分布到新的参考坐标系中、治疗过程的实时影像监督和对处方剂量的验证等。基于术前图像的手术导航技术目前应用相对广泛，而术中实时成像的技术，由于成像速度、成像设备开放性等一系列问题，还有待进一步开发。