武當山古名「太和山」。「太和」一詞出自《周易．干卦．彖辭》：「幹道變化，各正性命，保合太和，乃利貞。」大意是說，萬物的運行變化，只要各自安守本分，保持整體的和諧，就能順利發展。 「太和」含有「普遍和諧」之意。或許因了這種「天人合一」的靈秀之氣，武當山成為修煉之人的理想修煉之地。
「武當」之名最早見於《漢書》。元代劉道明在《武當福地總真集》捲上說：「傳記雲，武當山，一名太和，一名大岳，一名仙室，中岳佐命之山。應翼軫角亢分野，在均州之南。……地勢雄偉，非玄武不足以當，因名之曰武當。」《後漢書．王梁傳》中說：「玄武，水神之名。」李堅注稱：「玄武，北方之神，龜蛇合體。」關於玄武為何人，一種說法認為玄武是黃帝治下的淨樂園太子真武。還有一種說法稱，大禹繼承帝位後，便將父親鯀封為水神，並在今天的武當山創建玄天廟供奉之，稱為「玄武大帝」。「玄」，即「玄天」，北方的別稱。《太上說玄天大聖真武本傳神咒妙經》中說，隋文帝開皇元年三月三日，玄武降誕於王宮。既長舍家棄國，辭父母下入武當山修道，度世濟人，四十二年，功成果滿，白日升天，玉帝封為玄武真人。唐貞觀二年，封為佑聖玄武靈應真君，宋時真宗避趙玄朗玄字之諱，乃改為「真武大帝」。明朝時，武當山被封為「太岳」、「玄岳」，成為「天下第一名山」。在此修道之人眾多，而且興建了大量宮觀。清代後，武當山的影響力下降。
除玄武之外，有眾多的修煉者選擇在武當山上修煉。明朝任自垣撰寫的《敕建大岳太和山志》卷六《集仙記第五》中說：「（在武當山）自黃老設教，神仙至人棲之者眾。」「養生之人，多隱其名字，藏其時日，恨山不深，林不密，惟恐閑名落人耳中。是山證道升真者，何可勝記，去古頗遠，劫火屢更，多失其名」。現在載於史籍中比較有名的仙師真人有春秋時的尹喜、漢時的戴孟、馬明生、陰長生，晉時的謝允、尹軌，南朝的劉虯，唐代的姚簡、呂洞賓，五代的陳摶，宋代的孫寂然，元時的張守清，明代的張三豐等。
史書記載的較早於此隱居修煉的是周康王時的大夫尹喜。據記載，尹喜本為函谷關尹，他見紫氣東來，料定必有貴人來到。果然不久道家創始人老子李耳駕青牛西去，路過函谷關。尹喜熱情接待了老子，並拜老子為師，向老子問道。老子於是住到函谷關，寫下了傳世修煉之書《道德經》五千文。後來老子西出函谷關，不知所終。尹喜遂挂印辭官，隱居在武當山中開始修煉。不過，《莊子．天下篇》、《史記．老子傳》雖對此已有簡略記載，但尚未言及其武當山隱居之事。直到南朝郭仲產的《南雍洲記》中才有：「武當山有石門、石室，相傳雲尹喜所棲之地」的說法。後人把尹喜在武當山修煉之地的三天門石壁，稱為「尹仙岩」。武當山上的牛槽澗、青羊澗，都是太上神化造訪尹喜之地。
據葛洪的《神仙記》稱，戴孟是漢明帝時人，曾經先後在華山及武當山修煉。在華山得不死之道，可以輕身健行。仙人馬明生在武當山修煉之地為五龍宮，內有煉丹池、自然庵等。其弟子陰長生在侍奉馬明生二十年後，在青城山得道，後在武當山石室中服用丹藥，並造出黃金數萬斤以佈施天下窮乏之人。此後周遊天下。據《元和郡縣誌》武當縣條說：「陰長生於此得仙」。也就是說他在武當山白日飛升，成仙而去。陰長生的弟子鮑靚是《神仙傳》的著者葛洪的師父，此二人後來也都得道成仙。
晉代尹喜的弟子尹軌，亦入武當山修道，人稱「無上真人」，其門徒眾多，在唐朝是頗為顯盛。陶弘景《真誥．稽神樞》中說，謝允是歷陽人，「少英毅，歷仕羅邑宰，博覽群書，道學尤精」；太康年間，他辭官□入武當山，在一石室中修煉，沒有幾年就得道成仙。據說南北朝時在此修煉的就超過四百人。
據武當山歷代山志及均州舊志載，中國民間流傳的八仙之一的呂洞賓亦在武當山修煉過。呂洞賓，唐朝人，原姓李，曾舉□士不第。後因武則天篡權，迫害唐皇室子孫，乃入山修行。他先在陝西太華山修煉，後被玉皇大帝敕命為傳教祖師。他曾經隱居在武當山的紫氣峰修煉。還有一處叫洞賓岩的地方，傳說也是呂洞賓隱修較長的地方。
此後五代的陳摶，宋代的孫寂然，元時的張守清等成仙真人都在武當山修行過。
不過，中國人最為熟悉的當屬太極拳的鼻祖、明代真人張三豐。《明史》卷二百九十九寫道：張三豐丰姿魁偉，大耳圓目，無論寒暑只披件蓑衣「或處窮山，或游鬧市」。他在明朝初年來武當山遊歷並在此隱居，當時武當山上的五龍、南岩、紫霄殿都毀於戰火，張三豐和徒弟們就在荊棘中蓋了草廬作為修煉之所。一天張三豐對人說：「此山，異日必大興。」此後張三豐離去。明太祖聽說後，派人訪尋他卻沒有找到。後來明成祖即位後，為了感謝神明，特別是真武神在創立基業方面的幫助，除了加封真武，還在武當山上大興宮觀，應了張三豐的預言。而張三豐在遊歷四川後，再次來到武當山修行，並最終成仙。
由於武當山的不凡之處，歷代帝王對其青睞有加。不過，武當山最早的道觀始建於唐朝。唐太宗李世民，因均州太守姚簡禱雨有應，致使五龍現身降雨，所以下令在武當山修建五龍祠。大歷年間（766年∼779年）又建太乙、延昌等廟，干寧三年（896年），又更新神威武公廟宋、元、明三朝，均推崇武當真武之神。宋真宗天禧二年（1018年）下詔封真武為「真君」，將「五龍祠」更名為「五龍觀」，並開始修建大量廟觀，比較具有代表性的主要有五龍觀、紫霄宮、威烈觀、太上觀、佑聖觀等。元時，元世祖忽必烈下詔封真武為「玄天上帝」，將「五龍觀」更名為「五龍宮」，並繼續在武當山大興土木，修建宮觀。明朝永樂年間，明成祖朱棣下令，在武當山建造了九宮九觀三十六庵堂七十二岩廟，殿宇房屋二萬餘間。當時其香火隆盛，無論皇子皇孫、文臣武將，還是黎民百姓，每年都要到武當山朝拜。史書載，明隆慶（1567∼1572）時，武當山有道士三百到六百人，道官、道眾、軍隊、工匠等一萬餘人。因此武當山被稱為「天下第一道場」。清朝初期，雖仍有一些知名道士在武當山修煉，但隨著人與道越離越遠，成仙之事對人們來說也似乎是遙不可及了。清康熙時期維修了一些宮觀，但清末到民國時期，大部分宮觀被廢棄甚至被毀壞。
目前，武當山尚有明代修建的太子坡、磨針井、回心庵、玉虛岩、紫霄宮、太和宮、泰山廟等古建築遺存。太子坡相傳是真武在磨針井受老婦點化後，重新入山修煉居住過的地方。因道觀建於陡峻的山坡上，故又名「太子坡」。磨針井是傳說中的真武太子在此遇老婦感化的地方。玉虛岩是真武帝修煉和飛升之處。內部供奉著真武象及左右侍從、五百靈官等。關於紫霄宮的來歷，在《真武本傳妙記》記載了這樣一個傳說：當仙人紫元君超度真武到武當山修煉時，就告訴他「摘其眾峰沖高紫霄者居之」，故武當山的主宮名字為紫霄宮。「紫霄」意指仙氣瀰漫的天空。
在今武當山南岩宮兩儀殿外，存有呂洞賓讚美武當山的一首詩《題太和山》。詩曰：
混沌初分有此岩，此岩高聳太和山。
面朝大頂峰千丈，背臨甘泉水一灣。
石縷狀成飛鳳勢，龕紋綰就碧螺鬟。
靈源仙澗三方繞，古檜蒼柏四面環。
雨滴瓊珠敲石棧，風吹玉笛響松關。
角雞報曉東方曙，晚鶴歸來月半灣。
谷口仙禽常喚語，山巔神獸任躋攀。
個中自是乾坤別，就是原來日月閑。
此是高真成道處，故留蹤跡在人間。
古人多少神仙侶，為愛名山去復還。
