唐代的记载)，这些胡人有侨居也有定居，定居所住的地方叫“蕃坊”，这就是回族习惯把聚居地称为“回坊”的来由。侨居的则来往于丝绸之路和香料之路从事商业活动，从事经商的胡人蕃客，会选择寒冷季节到来前赶回去，气候转暖时再回来。回族民间有说法认为，这是被汉语人群称做“回”或“回回”的原因。国内史学界则多认为是“回回”是“回纥”、“回鹘”的异写或音转。唐代的在华胡人中，还有波斯和中亚小国的一些王族和平民，他们是为躲避阿拉伯人的侵略，逃亡而来。《四夷馆考》中说到：“回回在西域，地与天方国邻”。
元代之前，“回纥”、“回鹘”和“回回”，这三个词在的汉语文献中没有明确的界限，几乎是同义词，在不同作者的汉文史籍中通常是交替混用，所指囊括了西域、漠北胡人直至中亚和波斯一带人群，用回回一词称呼来自回鹘地带还往西的人则显得更多一些。宋元时期，分布在中东部的回回(粟特、犹太、波斯等胡商成分较多)以及部分回纥、回鹘被称为回回人;而分布在漠北一带的部分回鹘、回纥或回回，则联合当地一些民族西迁后形成畏吾儿，还有的发展成为塔吉克、乌兹别克等西域民族。此际，胡人、回鹘、回纥这类称谓，在史书记载中基本消失。“回回”一词明朗起来，在官方的诏谕和汉文记载中凡涉及到民族的一般为“蒙古、畏兀儿、回回、也里可温、河西、契丹、女真、汉人”这类字样。
回族的名称来历
元代“回回”在官方或汉语史籍中除了指已经定居在中国境内的回回人外，通常也指的是比“畏吾儿”更西的人群，也就是“葱岭以西、黑海以东”——阿富汗、乌兹别克斯坦、塔吉克斯坦、伊朗、吉尔吉斯斯坦、土库曼、阿塞拜疆以及哈萨克斯坦、伊拉克、土耳其和高加索部分地区。宋元以至明清期间，除了明代的撒拉等族外，凡是从这一地区入华的商人、工匠、军士、学者等几乎都自然的归入回回人里。历史长河中，这一地带分分合合，时而统一为一个国家，时而分裂为诸多小国，虽然不同国家不同族群在语言和文化的细部上存有差异，但整个文化面貌和人种上则大体一致，也都有禁食猪肉等古老的西域民族传统。
明代，“回回”和“色目人”在汉文记载中并用，如《大明律》有关律条正文下面的纂注中，通常有“色目即回回”的释文。但也有使用“回辉”的现象，如呼和浩特清真寺清真寺内存有“洪武皇帝御制回辉教百字”碑。“杭郡重修礼拜寺记”也有“回辉氏”一语。明万历四十一年的北京牛街礼拜寺“敕赐礼拜寺记”碑中，回族自称为“回回”，这是目前为止回族人以回回自称的最早证据。实际回回做为自称的年代比这早得多，只是由于相关历史文物、记载被毁坏和篡改掉了，也和各代封建统治者的文字狱有直接的关系。
回族一词做为民族称谓，目前有据可查的是出现在清乾隆时代。乾隆《重修肃州新志》卷三十“西陲纪略”叙述哈密人口向肃州地方的迁徙时写道：“哈密夷人于故明时徙居肃州卫东关乡居住者三族。曰维吾儿族，其人与汉俗微同;曰哈喇布族，其人与夷同;曰白面回回，则回族也。今皆男耕女织，为边氓矣。士商营伍，咸有其人”。再往后的年代，“回族”做为民族称谓使用越来越普遍，仅在官方记载中的例子就不胜牧举。