以前人们以为山葵原产日本，只有日本有野生品种，但是山葵实际上在中国也有野生，1990年代以来四川、贵州、重庆等地的山岭溪壑已经发现多个野生山葵品种。只是中国人从没有利用这种长在深山的植物，也没有给予命名和相应的人工栽培，目前各地的山葵栽培种源都是由日本的野生种驯化而来。
 
山葵在日语中的平假名“わさび”（发音是Wasabi）早对应的汉字名是“委佐俾”，奈良县出土的公元685年的木简上有“委佐俾三升”的字样，似乎那时候是把山葵籽当作药物或者香料，此后长期当药物使用，奈良时代颁布的“赋役令”中次出现“山葵”这个汉字名称。据日本镰仓时代编纂的“古今著闻集”20卷第二篇记载，于1221年后堀川院继位时，兵库县多纪郡所进的供品包括御屋山的野生山葵，也不清楚那时候是当药物还是食物佐料。
 
用山葵泥搭配刺身食用似乎是17世纪江户时代才兴起的习俗，开始是贵族才能享用的美味。庆长年间（1596年～1615年），静冈县有村民采来野山葵在村头溪流中试种获得成功，村人效种，后被村长敬献给静冈市出身的幕府将军德川家康，家康随即规定有东木村的山葵不得外卖，列为敬奉天皇的贡品，平人偷食犯法。到天明年间日本各地已陆续试种山葵，但规模比较小，明治维新时平民食用山葵的禁令取消，山葵栽种才多起来。
 
早于1914年就有日本人把山葵引种到中国台湾地区的阿里山等地，并主要供出口日本和当地日餐馆使用。1990年代日本、台湾地区和内地的商人、学者在云南、四川、重庆、贵州等地引种日本的栽培山葵，如今云南、四川等地已经颇成规模。
 
新鲜完整的山葵植株并不散发辛辣味道，当根状茎被切开研磨时它包含的芥子酶和硫葡糖苷才发生反应，生成辛辣冲鼻的异硫氰酸酯类化合物。日本人还发明了种有凸凹纹的传统磨泥器“oroshigane”把山葵根磨成泥，成品是深深浅浅的淡绿色。据说正统吃法是在鱼生面蘸山葵酱，另外面蘸酱油吃，不可以让酱油和山葵预先直接接触，那样会破坏山葵的香辛味道和口感。今天日本还有用山葵调味的酒、酱料、面包之类。山葵的气味和芥末有点类似，但是烈度较为清淡可口。
 
多数日式料理店常提供类似味道的另种十字花科马萝卜属植物辣根（学名： Armoracia rusticana ）的酱汁给大家蘸用，这是原产地中海沿岸和西亚的种植物，近代传入日本后被称为西洋山葵、西洋山嵛菜，也是他们率先用辣根酱汁代替山葵酱使用的，中国人只是跟随者而已。它的根茎是淡黄色，用绿色食用色素调配以后变成浓厚整齐的鲜绿色，和山葵酱那种有层次的淡绿色很好分辨。
 
3500年前埃及人就开始利用辣根，古希腊、古罗马人认为它是波斯来的，把辣根当作种药物。16世纪，德国人发现用奶油、糖和醋等调料可以减弱融合辣根的口感，制作酱料用于煮汤、烧烤等，至今欧洲还常用在烧烤酱中作为配料。英国人喜欢吃辣根酱，也是他们20世纪初把辣根引入上海郊区种植，后来传播到附近地区，现在人工栽培主要供给日餐使用。
 
从科学角度看辣根和山葵根散发辛辣味道的主要都是异硫氰酸酯类有机化合物，具体成分略有差异而已。相比实际吃到的物质成分，人们喜欢什么口味、食物也依赖对于味道、颜色、稀有程度的 “文化区分”，这也是影响某种食品可否在餐桌上变得“津津有味”的重要原因。