劉海粟拜康有為為師是一種偶然。雖然如此，其師生之情既定，不但終生不移，且隨著歲月的久遠，這種感情亦更深更厚，直至生命終結。
１９２１年夏天，天馬會（劉海粟和上海的一些畫家發起組織的繪畫藝術研究會）在上海的尚賢堂舉辦畫展時，康有為曾前往參觀。他對劉海粟（號海翁）的《雷鋒夕照》、《回光》、《埠》等油畫作品極感興趣。他當即提出，想找劉海粟談談。因劉海粟有事不在場而未能見到。
稍後，當有人將劉海粟介紹給康有為時，康竟說：「你是劉海翁的兒子吧？」因為劉海粟已創辦了美術專科學校，且在畫壇上已頗有名氣了，所以，康有為以為劉海粟應是５０歲以上的人。他將眼前的這位２０多歲的青年人誤認為是劉海翁之子了。
康有為問劉海粟，在中國畫家中，他最服膺什麼人？劉海粟說，他認為王維和吳道子的原畫已不得見，董源、巨然、黃公望、吳仲圭、倪雲林、王蒙、瀋周、徐渭、石濤等人都是傑出的畫家，他都研究過。
康有為又問劉海粟喜歡哪些西洋畫家。劉說，他特別喜歡達·芬奇的作品，因為他的作品博大、精深，也喜歡拉斐爾、米開朗基羅和倫布朗等人的作品，還對印象派畫面的生動絢麗、變化多端和對光的處理十分敬佩。
康有為聽了，縱聲大笑。他對劉海粟說，他家中有吳仲圭、瀋石田的真跡，還有唐代以來的歷代名畫數百件、六朝以來的碑帖２００余種，還有百國古器和圖書等，也有拉斐爾和米開朗基羅的油畫，那是他流亡歐洲時請名家臨摩的。他讓劉海粟到他家中去觀摩、研究。
次日，劉海粟如約前往上海愚園路的康宅拜訪。他們談書畫、讀書、談藝，也談歷史、讀文學。康有為非要收劉海粟做自己的學生不可。劉海粟覺得十分突然，自己怎麼能與梁啟超、林旭、譚嗣同等人同列門牆呢？不過，他還是大著膽子問道：「康老教我什麼呢？」康有為說：書畫同源，我可以教你寫字。劉海粟說，他願意跟著康有為學習書法，也學詩詞古文。康有為欣然同意了。
不久，康有為收劉海粟為弟子，專門在上海設宴，還將《書境》、《萬木草堂藏畫目》送給了劉海粟。
從師康有為之後，劉海粟的書藝長進很快，受益匪淺，同時，也漸漸形成了自己的風格。劉生前曾經說過，他活了８０多歲，經過３次中風，但仍然提筆作畫，其筆力就是從師康有為學書時奠定的。
有一年，廣東肇慶一帶發生水災，康有為在《申報》、《新聞報》上刊登廣告，由他寫字義賣救災。但他年事已高，體力不支，而救災又急於燃眉，於是便決定讓劉海粟每天臨摹對聯１０余副，由康有為選定後，讓門生加蓋兩方印章，一方是朱文「康有為」，一方是吳昌碩為他刻的「維新百日，出亡十六年，三週大地，遊遍四周，經三十一國，行四十萬里」，然後送去義賣。
１９２７年２月，康有為乘船去青島時，劉海粟到碼頭送行。康有為立於甲板上，頻頻向碼頭上的劉海粟揮手，劉海粟一直目送輪船消失在黃浦江上，他們誰都不曾料到，此次分別，竟成永訣。
不久，青島傳來噩耗：廣東同鄉會為康有為接風，也許是食物中毒，康有為當夜七孔流血而死，劉海粟得知後悲痛欲絕，數日以淚洗面。
在「文革」中，康有為這位當年的「保皇會會長」的墳墓，被一群中學生掘開了，其遺骸被放在板車上游過街。「文革」結束後，劉海粟及康氏後人將康有為的墳墓遷到山東青島的浮山腳下，劉海粟為康有為撰寫了墓誌銘。
