A Mátra felszínén előforduló legidősebb kőzetei a siroki Darnó-hegyen és környezetében fellelhető triászkori mélytengeri mészkő, agyagpala és radiolarit, valamint a tengeralatti képződésű párnaláva bazaltok. Recsk és Parádfürdő környékén a felszín alatt nagy mélységben lévő, szintén triász időszaki mészkő-, agyagpala-, kvarcit-rétegeket a felső-eocén korban andezites vulkáni anyagok törték át, a földtörténeti újkor legidősebb vulkáni hegyeit hozva létre a Mátra északi részén. A hegység északi előterét emellett főként oligocén üledékek (agyag, agyagmárga, csillámos homokkő) alkotják.

A Mátra fő tömegének képződése a miocén korban történt. Mintegy 21 millió évvel ezelőtt riolittufa-szórással megindult vulkanizmus szünetekkel és igen intenzív szakaszokkal tarkítva kb. 13 millió éve fejeződött be. Legnagyobb arányú vulkáni anyagtermelés a középső-miocénban zajlott, létrehozva a hegység döntő részét adó több száz méter vastag rétegvulkáni (váltakozva egymásra települő, andezit anyagú tufa, agglomerátum és láva kőzetekből álló) sorozatot. A vulkáni működés késői szakaszában keletkeztek a parádfürdői Ilona-völgyben látható kipreparálódott andezittelérek, melyeket a népnyelv Ördöggátaknak nevez. Legfiatalabb lávakőzetek a Gyöngyössolymos és Lőrinci környékén megtalálható riolitok. A kitörések sorát riolittufa-szórás zárta le. Erős utóvulkáni működésről tanúskodnak a kvarcit anyagú gejzírkúpok és az évszázadokon keresztül bányászott érctelepek.

A miocén vulkáni képződmények kéregszerkezeti mozgások következtében feldarabolódtak, ezért a hegységben jellemzőek a töréses formák is. A szerkezeti mozgások hatására az egész hegység dél felé megdőlt, ezáltal az északi részen az idősebb képződmények felszínre kerültek, míg délen az Alföld vastag üledéktakarója alá buknak a miocén vulkanitok.

A pliocénban a kialakult elsődleges vulkáni formákat tönkösödés tarolta le, a nedvesebb éghajlat folyóvízi eróziója völgyeket alakított ki. Ugyanekkor a hegység déli lábánál húzódó Pannon beltenger, illetve tó mocsaras partjain élt növényekből óriási lignittelepek keletkeztek (Rózsaszentmárton, Szücsi, Petőfibánya, Visonta, Halmajugra).

A pleisztocénben bekövetkező jégkorszakok és melegebb időszakok váltakozása igen felerősítette a kőzetek aprózódási folyamatát, melynek hatására a hegység sziklásabb részein szép periglaciális kőtengerek alakultak ki. (Óvár, Ágasvár, Galyatető, Kékes stb...)

Különféle nyersanyagok a vulkáni tevékenység és az utóvulkáni működés hatásaira is létrejöttek. A keményebb lávakőzeteket kőbányákban termelik, melyek közül néhányban érdekes ásványokat rejtenek a kőzet üregei. Kisnána határában működő piroxénandezitbánya kedvelt ásványgyűjtő hely, ahol egyebek mellett szideritet, aragonitot, kalcitot is találunk. A Recsk melletti Csákánykői bányában az előzőeken felül még pegmatitos eredetű kvarcit-zárványok is gyűjthetők.

Az ércbányászat nyomai a középkortól (mátraszentimrei Vizeslyuk táró) napjainkig követhetők Gyöngyösoroszi, Parád és Recsk környékén. Az ércbányászat napjainkra megszünt, de a régi és újabb tárók jó része jelenleg is fellelhető. Omlás és gázveszély miatt ezekbe behatolni azonban nem tanácsos, egyes esetekben pedig kifejezetten életveszélyes!

Utóvulkáni működésnek köszönhetően sok kénhidrogénes, széndioxidos forrás, csevice tör fel a Mátrában. Legismertebb közülük a parádsasvári csevice, melynek kénhidrogénes és széndioxidos változata a „Parádi víz” néven kereskedelmi forgalomban is kapható. Szabadon látogatható forrásokból és ásott kutakból bárki megtöltheti kulacsát Parádfürdőn (Ilona-völgy, Szent István-forrás), Parádóhután (Klarissza-forrás) vagy Recsken (vasút melletti csevice kút).