不同类型和用途的柴油机，其机构和系统的形式不同，但其功用基本一致。柴油机主要由机体组件与曲柄连杆机构、配气与进排气系统、燃油供给与调速系统、润滑系统、冷却系统、启动装置等机构和系统组成。
1、机体组件与曲柄连杆机构
机体组件主要包括气缸体、气缸盖和曲轴箱等。它是柴油机各机构系统的装配基体，而且其本身的许多部位又分别是柴油机曲柄连杆机构、配气机构与进排气系统、燃油供给与调速系统、润滑系统和冷却系统的组成部分。例如，气缸盖与活塞项共同形成燃烧室空间，不少零件、进排气道和油道也布置在它上面。
热能转变为机械能，需要通过曲柄连杆机构来完成。此机构是柴油机的主要运动件，由活塞、连杆、曲轴、飞轮和曲轴箱等组成。在柴油燃烧时，活塞承受气体膨胀的压力，通过连杆使曲轴旋转，将活塞的往复直线运动转变为曲轴的旋转运动，对外输出动力。
2、配气机构与进排气系统
配气机构由气门组（进气门、排气门、气门导管、气门座和气门弹簧等）及传动组（挺柱、挺杆、摇臂、摇臂轴、凸轮轴和正时齿轮等）组成，系统是由空气滤清器、进气管、排气管与消声器等组成，配气机构与进排气系统的作用是按一定要求，适时地开启和关闭进排气门，排出气缸内的废气和吸入新鲜空气，保证柴油机换气过程顺利进行。
3、燃油供给与调速系统
柴油机燃油供给与调速系统的作用是将一定量的柴油，在一定的时间内，以一定的压力喷入燃烧室与空气混合，以便燃烧做功。它主要由柴油箱、输油泵、柴油滤清器、喷油泵（高压油泵）、喷油器、调速器等组成。
4、润滑系统
润滑系统的功用是将润滑油送到柴油机各运动件的摩擦表面，起减摩、冷却、净化、密封和防锈等作用，以减小摩擦阻力和磨损，带走摩擦产生的热量，从而保证柴油机正常工作。它主要由机油泵、机油滤清器、机油散热器、各种阀门及润滑油道等组成。