關於像棋起源於何時，至今眾說紛紜。如北宋晁補之《廣像戲格．序》說︰「像戲兵戲也，黃帝之戰驅猛獸以為陣。像，獸之雄也，故戲兵以像戲名之。」即黃帝大戰蚩尤，驅猛獸以為陣；像是獸之雄，故以像戰為兵戰，所以認為像棋是黃帝所發明的。另一說法是像棋起源於戰國時期，如《潛確居類書》上載：「雍門周謂益嘗君：足下燕居，則斗像棋，亦戰國之事也。蓋戰國用兵，故時人用戰爭之像為棋勢也。」也有的認為起源於北周武帝之時，如《太平御覽》上載︰「周武帝造像戲」、明羅頎《物源》說：「周武帝作像棋」，當時的文學家庾信曾賦《像棋經賦》及《進像棋經賦》頌揚像棋。
不過比較可信而被認同的看法，認為「像棋」一詞最早見於戰國宋玉《楚辭．招魂》︰「□蔽像棋，有六博兮。」和西漢劉向《戰國策．齊策》記載：「臨淄甚富而實，其民無不吹竽、鼓瑟、擊筑、彈琴、鬥雞、走犬、六博（像棋的前身）、蹴鞠者。」而現代流行的像棋，約成型於唐末宋初時。如《續藏經》中僧念常《佛祖歷代通載》，在唐文宗開成已未條下有「制像棋」三字，原註：「昔神農以日月星辰為像，唐相國牛僧孺用車、馬、將、士、卒加炮代之為機矣。」依據這個記載，唐朝之前像棋應該沒有炮，這正好和中國古代武器的發展相吻合。加炮之後才近似於現代的像棋，也可說是具有現代像棋的雛型了。
唐牛僧孺的《玄怪錄》中有一則神仙傳說《巴邛人》，巴邛地區有戶人家，橘園中結了兩枳奇異的橘子，有頭般大小。剖開一看，不見橘瓤，只見每枳橘子裡，都有兩位鬚眉斑白、面色紅潤的老頭兒「像戲於其中」。他們不僅分勝負，還有古怪的賭注，可見這「像戲」是一種新型的博戲。《玄怪錄》裡沒有說明像戲的玩法，但故事是發生在陳隋之間，所以這應該是北周武帝時的新棋類，但「橘中之樂」卻已成了古代像棋的別稱了。
在《玄怪錄》另一篇《岑順》中也記載了唐代寶應元年間的一件怪事。故事說汝南人岑順，暫宿在陝西一所廢宅時，每天晚上都聽到軍鼓之聲。有一天夜裡夢見一人自稱金像國的使者，告訴岑順將要和天那國的軍隊交鋒，並邀請岑順觀戰。這時岑順看到了牆壁下的兩個老鼠洞化作了城門，兩支軍隊各自嚴陣以待。有個軍師向金像國王建議作戰布局，說︰「天馬斜飛度三止，上將橫行系四方。輜車直入無迴翔，六甲次弟不乖行。」國王點頭同意。果真一聲鼓響，一匹馬斜跳了三尺。又一聲鼓響，一名步卒橫行一尺。再一次鼓聲，車往前進。就這樣雙方你來我往，不一會兒天那軍大敗，天那國王敗逃到西南角。後來，岑順感覺怪異便挖開鼠洞，發現了一座古墓，「前有金床戲局，列馬滿枰，皆以金銅成形」。從這個故事可以發現，寶應年間的像戲，已有將、車、馬、卒等名目，馬行日步，車直來直往，卒只能進一步，而將可以滿場巡行，和現代像棋有不少相同之處。所以到現在日本還將寶應像棋當成中國像棋的別稱呢！
現代像棋約定型於北宋末年。北宋李清照《打馬圖經》所載的中國像棋棋盤，和現在的棋盤完全一樣。南宋陳元靚《事林廣記》中，記載了最早的兩局完整的像棋棋譜和最古老的排局「二龍出海勢」。所以在北宋之前，像棋歷經了由原始雛型到定型的發展和演變過程。
河南省的滎陽市是眾所周知的中國像棋之都。像棋棋盤上的「楚河」、「漢界」就在該市的廣武山上。「楚河漢界」這個名稱，據傳始於「楚漢相爭」。西元前二○四年，劉邦和項羽兩軍在此對壘。西元前二○三年，劉邦憑著豐富的糧草作後盾，揮師出兵攻打楚國，項羽則因糧盡兵潰，迫於無奈提出「中分天下，割鴻溝以西者為漢，鴻溝而東者為楚」的停戰議和要求。從此便有了「楚河」、「漢界」之說。後人為銘記這次戰爭，且像棋又是模仿戰爭而來，因此就在像棋棋盤上打上了「楚河」、「漢界」。至今在滎陽市廣武山上還保留了兩座遙遙相望的古城遺址，西邊那座叫漢王城，東邊的叫霸王城，傳說就是當年的劉邦、項羽所筑。兩城中間，有一條寬約300米的大溝，這就是人們所說的鴻溝，也就是像棋盤上「楚河」、「漢界」。
宋代以後，像棋已定型並在民間廣為流行。古往今來，還形成許多各式各樣的像棋文化。逢年過節，棋迷們喜歡撰寫棋聯，如清代左宗棠率兵西征時，有人藉此寫了︰「大帥用兵，士卒效命。車轔轔，馬蕭蕭，氣象巍巍。視此去，一炮成功，方不愧出將入相。」這棋聯把所有的棋子名都包含進去了。而棋詩中寫得最好的是明代王守仁的《哭像棋詩》，王守仁童年時，有一次和棋友在河岸對弈，因忘了吃飯，他的母親喚了數次都沒有覺察，王母氣得就把棋子扔入河中。王守仁當時惋惜不已，就吟出了一首巧嵌棋子名的妙詩︰「像棋在手樂悠悠，苦被嚴親一旦丟。兵卒墜河皆不救，將軍溺水一齊休。馬行千里隨波去，士人三川逐浪流，炮響一聲天地震，像若心頭為人揪。」
棋譜則是弈棋高手們的實戰記錄，流傳至今最為有名的古棋譜為《橘中秘》、《梅花譜》、《竹香齋》等。這些棋譜不僅具有收藏價值，對於研究像棋的歷史淵源，和提升像棋棋藝水準有很大的實用價值。
