LOGO OA教程 ERP教程 模切知识交流 PMS教程 CRM教程 开发文档 其他文档  
 
网站管理员

javascript下过滤数组重复值的代码(类似于SQL的distinct)
admin
2012年4月23日 21:51 本文热度 12590
<script language="javascript">
function getNoRepeat() {
return arguments[0].join('‖').match(/(\b[^‖]+\b)(?!.*‖\1\b)/ig);
}
var tmpArr = [1, 'a', 'ab', 'abc', 'd', 1.2, 'a+b', 'd', 'e', 5, 'a', 1, 'h', 'c', 'ab'];
var retArr = getNoRepeat(tmpArr);
alert(retArr);
</script>

 

<script>
alert("1,11,1.11,1111,111,11,1,1.11".match(/(\b\d+(?:\.\d+)?\b)(?!.*,\1\b)/g))
</script>

 

<script>
alert("123450,0,1,2,5,3,2,12,4,1,1,123450".match(/(\b\d+\b)(?!.*,\1(,|$))/ig))
</script>

 


<script>
alert("123450,0,1,2,5,3,2,12,4,1,1,123450".match(/(\b\d+\b)(?!(?:,[^,]+)*,\1(?:,|$))/ig))
</script>

 


<script>
var s = "0,1,2,5,3,2,12,4,1,1,123450";
var sTmp = (","+s.split(",").reverse().join(",")+",").replace(/,([^,]+)(?=,.*,\1,)/ig, '').split(",").reverse().join();
sTmp = sTmp.substr(1, sTmp.length-2);
alert(sTmp)
</script>

 


<script>
var strArr = "123450,0,1,2,5,3,2,12,4,1,1,123450".split(",")
var str = ","
for(i = 0; i < strArr.length; i++)
{
if(str.indexOf("," + strArr[i] + ",") == -1)str += strArr[i] + ","
}
alert(str.substring(1,str.length - 1))
</script>

该文章在 2012/4/23 21:51:03 编辑过

全部评论5
admin
2012年4月23日 21:55

js数组中去除重复值
 
<script>
Array.prototype.del = function() {
var a = {}, c = [], l = this.length;
for (var i = 0; i < l; i++) {
var b = this[i];
var d = (typeof b) + b;
if (a[d] === undefined) {
c.push(b);
a[d] = 1;
}
}
return c;
}
alert([1, 1, 2, 3, 4, 5, 4, 3, 4, 4, 5, 5, 6, 7].del());
</script>

  [Ctrl+A 全选 注:如需引入外部Js需刷新才能执行]
方法二
复制代码 代码如下:
//去重复数组
function unique(data){
data = data ││ [];
var a = {};
len = data.length;
for (var i=0; i<len;i++){
var v = data[i];
if (typeof(a[v]) == 'undefined'){
a[v] = 1;
}
};
data.length=0;
for (var i in a){
data[data.length] = i;
}
return data;
}

方法三
复制代码 代码如下:
var arr = ["123","123","123","123","sfsdf","123","345","123","123","345","456","567","sdc"];
var str = [];
for(var i = 0,len = arr.length;i < len;i++){
! RegExp(arr[i],"g").test(str.join(",")) && (str.push(arr[i]));
}
alert(str);

方法四
复制代码 代码如下:
var pureMulti1=function(arr){
var obj={};
var a = [];
for(var i=0,l=arr.length;iif(!((arr[i]+"") in obj)){
a.push(arr[i]);
}
obj[arr[i]]="";
}
return a;
}


该评论在 2012/4/23 21:56:04 编辑过
admin
2012年4月23日 21:56

百度面试时问的一道题目，蛮常规的，但是当时自己的回答挺差劲的。现在总结记录下~

代码如下:
题目：要求写一个函数，去掉给定数组中的重复值。
如：
传入数组 a = [0, 8, 5, 4, 78, 8, 90, 4, 'a', 'b', 'a'];
要求返回：[0,4,5,8,78,90,a,b]

对于这个题目，在面试之后也想了好多次，不过一直没能想出一个时间复杂度较低的方法。昨天下午在宿舍看《JavaScript语言精粹》看到一个书中的一段代码有所触发，于是在jsfiddle上测试了，成功。代码如下(完整版参见jsfiddle)
var getNR = function(src) {
src = src ││ [];
var res = {};
var curr = [];
var i, j = 0,temp, name;
for (i = 0; i < src.length; i++) {
temp = src[i];
if (res[temp]) {
//do noting
} else {
res[temp] = 1;
}
}
for (name in res) {
if (res.hasOwnProperty(name)) {
curr[j++] = name;
}
}
return curr;
};

总结一下我的思路：
思路一：将目标数组进行排序，然后依序删除重复的数组，但这样在删除重复元素的同时也改变数组原有元素的属性，明显是不符合要求的，del。
思路二：新建一个数组b，将a中的元素push到b中，但是在push之前检查该元素是否存在。这个时间复杂度是n*n,最简单也是最笨的办法。
思路三：跟思路二类似，不过充分利用了js对象的属性，新建一个空对象，将a中的元素作为属性添加到该对象中，在添加之前检测该属性是否已存在。全部添加完后将该对象的属性依序放到数组中，return
美团面试的题目中有一道这个题目的变种：
要求在Array类上添加一个方法，对于任意数组调用该方法后，去除该数组中的重复元素。
这个变种题考查的知识点多了些，还包括原型，this的理解等。


该评论在 2012/4/23 21:57:39 编辑过
admin
2012年4月23日 22:22

三个精彩的函数～～大家收到自己的函数库里去吧～

前两天做一个功能的时候，为Array扩展了三个方法，可以清除数组中的重复的值。这些值可以是字符串，或者对象～～或者其它。
在网上找了找其它的类同的函数～效率和实现方法都比较差～哈哈～

－－－－－－－－－－－－－－－

// 数据元素唯一化, 较慢但保持元素顺序
//   例: [1,2,3,2,1,8,1,6,2]
// 输出: [1,2,3,8,6]
Array.prototype.unique = function() {
  for (var j, i=0, k=this.length; i<k; i++) {
    for (j=i+1; j<k; j++) {
      if (this[i]===this[j] && k--) this.splice(j, 1);
    }
  }
}

// 数据元素唯一化, 较快但不能保持元素顺序
//   例: [1,2,3,2,1,8,1,6,2]
// 输出: [1,2,3,8,6]
Array.prototype.q_unique = function() {
  for (var j, i=0, k=this.length; i<k; i++) {
    for (j=i+1; j<k; j++) {
      if (this[i]===this[j]) this[i]=this[--k];
    }
  }
  this.length = k;
}

// 数据元素唯一化, 仅用于排序过的数组(并保持排序状态)
//   例: [1,2,2,4,4,5,5]
// 输出: [1,2,4,5]
Array.prototype.s_unique = function() {
  for (var j, m, i=0, k=this.length; i<k; i++, k-=m) {
    for (j=i+1, m=0; j<k; j++, m++) {
      if (this[i]!==this[j]) break;
    }
    this.splice(i, m);
  }
}


该评论在 2012/4/23 22:23:57 编辑过
admin
2012年4月23日 22:24
  1. <script>
  2. //Aiming 的算法
  3. //－－－－－－－－－－－－－－－
  4. // 数据元素唯一化, 较慢但保持元素顺序
  5. //   例: [1,2,3,2,1,8,1,6,2]
  6. // 输出: [1,2,3,8,6]
  7. Array.prototype.unique = function() {
  8.   for (var j, i=0, k=this.length; i<k; i++) {
  9.     for (j=i+1; j<k; j++) {
  10.       if (this[i]===this[j] && k--) this.splice(j, 1);
  11.     }
  12.   }
  13. }

  15. // 数据元素唯一化, 较快但不能保持元素顺序
  16. //   例: [1,2,3,2,1,8,1,6,2]
  17. // 输出: [1,2,3,8,6]
  18. Array.prototype.q_unique = function() {
  19.   for (var j, i=0, k=this.length; i<k; i++) {
  20.     for (j=i+1; j<k; j++) {
  21.       if (this[i]===this[j]) this[i]=this[--k];
  22.     }
  23.   }
  24.   this.length = k;
  25. }

  27. // 数据元素唯一化, 仅用于排序过的数组(并保持排序状态)
  28. //   例: [1,2,2,4,4,5,5]
  29. // 输出: [1,2,4,5]
  30. Array.prototype.s_unique = function() {
  31.   for (var j, m, i=0, k=this.length; i<k; i++, k-=m) {
  32.     for (j=i+1, m=0; j<k; j++, m++) {
  33.       if (this[i]!==this[j]) break;
  34.     }
  35.     this.splice(i, m);
  36.   }
  37. }

  39. ///////////////////////////////////////////////////////////////////////////////////////
  40. //Akira的处理方法，利用Hash
  41. function UniqueSet()
  42. {
  43.         this.HashIndex = new Array();
  44.         this.Collection = new Array();

  46.         UniqueSet.prototype.Add = function(obj)
  47.         {
  48.                 if (!(obj instanceof Object))   //如果obj不是对象，那么就按照基本数据类型（值类型）的方式处理，注意：可能对DOM无效
  49.                 {
  50.                         if (this.HashIndex[obj] == null)
  51.                         {
  52.                                 this.HashIndex[obj] = this.Collection.length;
  53.                                 this.Collection.push(obj);
  54.                         }
  55.                 }
  56.                 else if (obj.UUID != null)  //如果对象定义了唯一表识UUID,则用UUID作为索引来处理
  57.                 {
  58.                         if (this.HashIndex[UUID] == null)
  59.                         {
  60.                                 this.HashIndex[UUID] = this.Collection.length;
  61.                                 this.Collection.push(obj);
  62.                         }                               
  63.                 }
  64.                 else
  65.                 {
  66.                         //对象的处理办法，利用脚本特性
  67.                         if (obj.__UniqueSet_Member_Belongs_To == null)
  68.                                 obj.__UniqueSet_Member_Belongs_To = new Array();
  69.                         for (var i = 0; i < obj.__UniqueSet_Member_Belongs_To.length; i++)
  70.                         {
  71.                                 if (obj.__UniqueSet_Member_Belongs_To[i] == this)
  72.                                 {
  73.                                         return;
  74.                                 }
  75.                         }

  77.                         obj.__UniqueSet_Member_Belongs_To.push(this);
  78.                         this.Collection.push(obj);
  79.                 }
  80.         }
  81.         UniqueSet.prototype.toArray = function()
  82.         {
  83.                 return this.Collection;
  84.         }
  85. }
  86. UniqueSet.parse = function(array)
  87. {
  88.         array = array.slice(0);
  89.         var uSet = new UniqueSet();
  90.        
  91.         for (var i = 0; i < array.length; i++)
  92.         {
  93.                 uSet.Add(array[i]);
  94.         }

  96.         return uSet.toArray();
  97. }

  99. function createObjs(size)
  100. {
  101.         var objList = new Array(); //构造测试数组
  102.         for (var i = 0; i < size; i++) //构造对象（这部分时间不计）
  103.         {
  104.                 if (Math.random() > rate)
  105.                 {
  106.                         item = new Object();
  107.                         item.hashCode = Math.random();
  108.                 }
  109.                 objList.push(item);
  110.         }
  111.         return objList;
  112. }

  114. function uniqueTest(objList)
  115. {
  116.         var test = objList.slice(0);   //构造测试副本
  117.         document.write("元素个数:"+test.length+"，重复率:"+rate+"，开始计时<br/>");
  118.         var startTime = new Date().getTime(); //计时
  119.         test.unique();
  120.         var timeUsed = (new Date() - startTime)/1000;
  121.         document.write("unique()耗时:"+timeUsed+"秒，不重复元素个数"+test.length+"个<br/>");
  122. }

  124. function q_uniqueTest(objList)
  125. {
  126.         var test = objList.slice(0);   //构造测试副本
  127.         document.write("元素个数:"+test.length+"，重复率:"+rate+"，开始计时<br/>");
  128.         var startTime = new Date().getTime(); //计时
  129.         test.q_unique();
  130.         var timeUsed = (new Date() - startTime)/1000;
  131.         document.write("q_unique()耗时:"+timeUsed+"秒，不重复元素个数"+test.length+"个<br/>");
  132. }

  134. function uSetTest(objList)
  135. {
  136.         var test = objList.slice(0);
  137.         document.write("元素个数:"+test.length+"，重复率:"+rate+"，开始计时<br/>");
  138.         var startTime = new Date().getTime(); //计时
  139.         test = UniqueSet.parse(test);
  140.         var timeUsed = (new Date() - startTime)/1000;
  141.         document.write("uSet()耗时:"+timeUsed+"秒，不重复元素个数"+test.length+"个<br/><br/>");
  142. }
  143. //测试开始...
  144. var rate = 0.1; //元素重复率
  145. var item = new Object();  //要插入的元素
  146. item.hashCode = Math.random(); //没有别的意义，单纯的标识
  147. var objList = createObjs(500);  //构造一个500随机对象的数组

  149. //下面开始测试排序:
  150. uniqueTest(objList);
  151. q_uniqueTest(objList);
  152. uSetTest(objList);

  154. objList = createObjs(800); //增加到800对象

  156. uniqueTest(objList);
  157. q_uniqueTest(objList);
  158. uSetTest(objList);

  160. objList = createObjs(1000); //增加到1000对象

  162. uniqueTest(objList);
  163. q_uniqueTest(objList);
  164. uSetTest(objList);

  166. document.write("后面因为Aiming的算法速度太慢，而IE提示会影响计时，所以不得不停止测试，仅用我的算法计时<br/>");
  167. //objList = createObjs(1200); //增加到1200对象
  168. //uSetTest(objList);

  170. objList = createObjs(1500); //增加到1500对象
  171. uSetTest(objList);

  173. document.write("很奇怪地发现我写的算法得到的结果和Aiming写的两个算法分别得到的结果居然都不一样？？结果：随便测试了一下...<br/>");
  174. var testArray = new Array(10,20,30,30,30,40,20,10,4);
  175. test = testArray.slice(0);
  176. test.unique();
  177. document.write("居然检测出了Aiming的unique()函数的这个错误结果：<br/>原始数组："+testArray+"<br/>结果数组："+test+"<br/>=.=...汗...<br/>");
  178. </script>
复制代码运行代码另存代码


应该说，楼主写的函数从代码的角度来讲，还算是不错的，但是有下面的一些问题：
1) 没有保存原始的数组对象，既然改写（增加）了数组的方法，那么应该保护原始的数组对象，否则的话array.unique()的时候破坏掉了原来的数组。
像array.slice()等系统库函数这方面就做得比较好，楼主可以参考。
除非楼主是打算做成像array.push()或者array.splice()之类的“写操作”方法，不过我个人认为将unique方法做成写方法的话应用价值就打折扣了。
2)方法的效率不是很高，一个简单的测试如上...大概算到1000数量级的时候就不大行了。我利用脚本语言的特性写了实现同样功能的方法，效率会比较高一点。
脚本是解释型语言，弱点是效率比较低，但是同时也带来一些灵活的特性（例如动态增加属性），活用它们可以弥补弱点。
3)一个更为致命的问题是头两个方法都有BUG，第三个方法我没有测试，不知道是否正确。第一个方法（unique()）居然连new Array(10,20,30,30,30,40,20,10,4);这样简单的Case都没有通过，建议楼主再修改一下。

最后我要说，脚本语言虽然简单，然而因为自由，使用起来也有各种复杂的变化。如何发挥它们的优势，弥补不足，其实这其中的道理并不简单。
作为程序语言的一种，脚本语言也是“道”的一部分。在求“道”的过程中应当多多深入探索，才会有所领悟，许多东西并不像表面那么简单。在我看来，楼主的代码也仅能算做勉强合格（去除BUG之后），所以我想劝楼主收回“精彩”二字以及后面那句话 :P

停止一些浮躁的举动，静下心来认真学习和研究，往往会有很多意想不到的收获。

该评论在 2012/4/23 22:26:54 编辑过
admin
2012年4月23日 22:25
对了，各位在运行上面那个例子的时候如果IE弹出了运行速度慢的提示的话，那么最后一个（也可能是倒数第二个，具体要看提示框弹出的时间）时间就不准确了...（因为记录的时间还包括点击确定按钮关闭对话框的时间） 其实主要还是因为测试用例动态创建随机大数组浪费了非常多的时间，如果单独使用的话，我的算法大概可以跑在高于10000数量级上，如果，数组元素是简单类型而不是对象的话，还可以再提高一个数量级，但那也不是最好的算法，相信还有很多个优秀的算法实现... 总体来说,javascript是非常自由的... 所以充分发挥想象和创造往往可以获得“令人惊叹”的代码... 如果真正能做到，是非常令人佩服的（那种大牛是月影追求的目标^^） 而能够欣赏到那样的代码也是非常幸运的 因为那也是一种程序界的“艺术”和“美” ^^
关键字查询
相关文章
正在查询...
点晴ERP是一款针对中小制造业的专业生产管理软件系统,系统成熟度和易用性得到了国内大量中小企业的青睐。
点晴PMS码头管理系统主要针对港口码头集装箱与散货日常运作、调度、堆场、车队、财务费用、相关报表等业务管理，结合码头的业务特点，围绕调度、堆场作业而开发的。集技术的先进性、管理的有效性于一体，是物流码头及其他港口类企业的高效ERP管理信息系统。
点晴WMS仓储管理系统提供了货物产品管理,销售管理,采购管理,仓储管理,仓库管理,保质期管理,货位管理,库位管理,生产管理,WMS管理系统,标签打印,条形码,二维码管理,批号管理软件。
点晴免费OA是一款软件和通用服务都免费，不限功能、不限时间、不限用户的免费OA协同办公管理系统。
Copyright 2010-2025 ClickSun All Rights Reserved