Der Pfaffenweiler Kalksandstein entstand in der Zeit des Tertiärs, als große Teile des Oberreihngrabens von einem Meeresarm bedeckt waren.
In Pfaffenweiler wurde dieser Stein jahrhunderte lang gebrochen und verarbeitet.

Ende Juli 1985 wurde das Freilichtmuseum "Historische Steinbrüche Pfaffenweiler" eröffnet. Es wurden nach alten Vorlagen drei Steinhauerhütten wieder errichtet, eine Gleisanlage mit Lore verlegt sowie die Schmiede von Karl Luhr hierher versetzt. Ein Rundgang führt den Besucher mit einem Waldlehrpfad durch das Steinbruchareal. Sämtliche Arbeiten wurden und werden von der "Steinhauergruppe" im Verein "Dorfmuseum Pfaffenweiler e.V. durchgeführt. Dieser Gruppe wurde 1985 im Rahmen der Auszeichnung kommunaler Bürgeraktionen durch das Innenministerium Baden-Württemberg ein Hauptpreis verliehen.