Linux知识深似海

如果你有一个4.2GB的CSV文件,里面有超过1200万条记录,每条记录都有50列。现在你要做的是把其中某一列的值全加起来。

你怎么办?

这是我最近看到的一篇文章的开头部分。文章介绍的是如何使用unix命令来分析大体积文件的文章。像我这样一个基本上都在Windows平台上开发的程序员,对他提出的这样一个问题,首先出现在脑子里的就是内存溢出、CPU达到100%、跑一个晚上。而对于一个Linux/unix高手来说,这真是小菜一碟,正如文章中介绍的方法,一行命令就完成了这个任务。

(假设文件名叫做data.csv,行数据用竖线分割,我们需要总计其中的第四列。)

cat data.csv | awk -F “|” ‘{ sum += $4 } END { printf “%.2f\n”, sum }’

简洁干净,而且里面的{ sum += $4 }很有闭包的味道。让我对Linux的向往又加深了一层。

我写这篇博客的目的并不是抒发对Linux的感情的,而是重点讲一下发生在这篇文章评论里的事情。这篇文章吸引了不少Linux爱好者的评论,而且都是Liunx高手,仅仅是第一条评论,看了后就让我惊讶的合不上嘴。

这位叫做California Lotto的网名的评论是:

如果你认为自己是一个Linux命令行高手,那恭喜你赢得今天的“最没用的Cat用法”大奖。你应该这样写这个命令:

awk -F "|" '{ sum += $4 } END { printf "%.2f\n", sum }' < data.csv

的确,cat在这里似乎是没必要的。我首先是佩服,可之后马上感觉这个人可真讨厌,卖弄。虽然我不喜欢他无视作者写这片好博文的辛苦,但作为外行人,他和作者一样都是我高不可及的。

可是当我读第二条评论时,事情出现了戏剧性的变化,这第二条评论明显是真对第一条评论的:

如果你认为自己是一个Linux命令行高手,那恭喜你赢得今天的“最没用的重定向用法”奖。你应该这样写这个命令:

awk -F "|" '{ sum += $4 } END { printf "%.2f\n", sum }' data.csv

正所谓强中自有强中手,一山更比一山高。我突然意识到,其实没必要在这里比谁比谁更强,在这个浩瀚的互联网里,永远都会有比你在某方法更出众的人。这里重要的是探讨和参与。通过这种探讨,不仅丰富了你我的知识,而且对问题的解决方案有了更丰富的认识。正像接下来的评论里继续指出,命令行这的重定向符放在什么地方都可以,写成这样也是好用的:

<data.csv awk -F “|” ‘{ sum += $4 } END { printf “%.2f\n”, sum }’

,神奇吧!而接下来继续有人指出,作者在实验时写成这样:

head -1 data.psv | awk -F’|’ ‘{print NF}’

,实验成功后直接把head改成cat是顺理成章的事。

不管怎样,这是一篇好文章,这些人都是高手,都是我的老师,不仅教我编程知识,更教我如何做人。

分享这篇文章:

19 Responses to Linux知识深似海

  1. Leonard says:

    无聊,换汤不换药,不都是awk结合输入输出吗

  2. xdays says:

    没有感觉到这篇文章的价值

  3. Yichen says:

    没有原文地址?

  4. xuantong says:

    这文章好无聊,,不就是一个输入的参数问题,有必要么??

  5. 依云 says:

    咦?不能贴链接?

  6. zhblue says:

    这样做写起来是快的,运行也快么?
    会比c写的快么?

  7. pitopi says:

    出处:http://www.gregreda.com/2013/07/15/unix-commands-for-data-science/

  8. @earth says:

    不管怎样,这是一篇好文章。这篇文章的评论让我们看到有多少程序猿还没有进化成人。

  9. wow says:

    NMD,就一个破事儿,技巧,解决了一个问题,怎么就教到你做人方面了?难道你人品象垃圾!!!胡扯,别把没有关系的事情往一起扯。

  10. metiswang says:

    好无聊的文章

  11. firo says:

    评论的大神们,谁能解释下,文中把 “< "放到开头这个是什么用法?
    <data.csv awk -F “|” ‘{ sum += $4 } END { printf “%.2f\n, sum}'

  12. firo says:

    原来是重定向标准输入了。

  13. Hunterwyg@gmail.com says:

    果然啊.. 某些”猿” 进化不太完全….

  14. 微博档案 says:

    我也想学bash,我现在主要工作平台是Linux,但是不会bash。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

This site uses Akismet to reduce spam. Learn how your comment data is processed.