Перший документ, де згадується дерев'яний олівець, датований 1683 роком. У Німеччини виробництво графітних олівців почалося у Штайні під Нюрнбергом у 1719 році. Німці, змішуючи графіт із сіркою та клеєм, отримали стрижень не такої високої якості, але за нижчою ціною.
Нікола Жак КонтеКонрад ГеснерУїльям Манро Олівець/Винахідники
Виробники, які першими почали випускати кольорові олівці для художників, включають Faber-Castell у 1908 році та Caran d'Ache у 1924 році і далі Berol Prismacolor у 1938.
Розведену водою суміш графіту, глини, жиру, сажі та клею заливали в отвір у дерев'яній паличці та спеціальним чином випарювали. Один олівець виготовляли близько п'яти днів, і коштував дуже дорого. У Росії виробництво олівець організував Михайло Ломоносов у Архангельській губернії.