相传汉代闽越国有一男子被强征戍边，其妻终日望归。后同去者归，惟其夫未返，妻念更切，终日立于村前道口树下，朝盼暮望，哭断柔肠，泣血而死。树上忽结荚果，其籽半红半黑，晶莹鲜艳，人们视为贞妻挚妇的血泪凝成，称为“红豆”，又叫“相思子”。

唐代诗人王维有诗：“红豆生南国，春来发几枝。愿君多采撷，此物最相思。”诗人根据故事借物抒情表达相思，委婉含蓄，成为千古传诵的名诗。

中国唐代诗人王维那首的《相思》“红豆诗”，在中国文学中常被作为思念的象征，王维的诗句和传说里的“相思豆”并不一定就是相思子。中国南方类似的植物有赤豆、相思子和海红豆，都能结出明艳亮红的种子。具体是其中的哪一种，还有待考证，植物学界也没有明确的答案。