铅笔芯不含铅，其主要成分是石墨。
由於铅在岩石或墙壁*写时，会有黑色痕迹，因此在古希腊及罗马时代，人们使用铅作为绘图及写字工具。中国古时，书写於绢帛及纸上，若有错误，则以铅粉涂改，所以古文中确有“铅笔”一词，但与现代的铅笔不同。
十五世纪时，石墨矿被发现，当时的人并不知道石墨的成分，就称石墨为“黑铅(blacklead)。大约在1492年，英国开始有人使用石墨制成的笔，就称为铅笔。一直到1779年，科学家才知道石墨是碳的一种形式。” 由石墨研磨成粉后，与黏土混合，再灌入两片半圆型的木管中制成，近年也有塑胶制的笔杆上市。
为了适应各种需要，铅笔笔芯中石墨与黏土可以用各种不同的比例混合，混合比例不同，笔芯的性质与用途也不同。例如作为素描用的笔芯须要软一点、黑一点；学生写作业用的笔芯需要硬一点、颜色浅一点。我们在买铅笔时，要注意笔上的标示，其中h代表坚硬(hard)，f代表坚实(firm)，b代表黑体(bold)。根据厂商提供的资料，各种铅笔由软到硬的顺序为
hb-b-2b-(*)-9b-f-h-2h-(*)-9h
其中(*)化表介於2b与9b或2h与9h之间的代号。