近几年来随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。
大数据的研究和分析应用具有十分重大的意义和价值。被誉为“大数据时代预言家”的维克托·迈尔-舍恩伯格在其《大数据时代》一书中列举了大量详实的大数据应用案例，并分析预测了大数据的发展现状和未来趋势，提出了很多重要的观点和发展思路。他认为：“大数据开启了一次重大的时代转型”，指出大数据将带来巨大的变革，改变我们的生活、工作和思维方式，改变我们的商业模式，影响我们的经济、政治、科技和社会等各个层面。
由于大数据行业应用需求日益增长，未来越来越多的研究和应用领域将需要使用大数据并行计算技术，大数据技术将渗透到每个涉及到大规模数据和复杂计算的应用领域。不仅如此以大数据处理为中心的计算技术将对传统计算技术产生革命性的影响，广泛影响计算机体系结构、操作系统、数据库、编译技术、程序设计技术和方法、软件工程技术、多媒体信息处理技术、人工智能以及其他计算机应用技术，并与传统计算技术相互结合产生很多新的研究热点和课题。
大数据给传统的计算技术带来了很多新的挑战。大数据使得很多在小数据集上有效的传统的串行化算法在面对大数据处理时难以在可接受的时间内完成计算;同时大数据含有较多噪音、样本稀疏、样本不平衡等特点使得现有的很多机器学习算法有效性降低。因此微软全球副总裁陆奇博士在2012年全国第一届“中国云/移动互联网创新大奖赛”颁奖大会主题报告中指出：“大数据使得绝大多数现有的串行化机器学习算法都需要重写”。
大数据技术的发展将给我们研究计算机技术的专业人员带来新的挑战和机遇。目前国内外IT企业对大数据技术人才的需求正快速增长，未来5～10年内业界将需要大量的掌握大数据处理技术的人才。IDC研究报告指出，“下一个10年里，世界范围的服务器数量将增长10倍，而企业数据中心管理的数据信息将增长50倍，企业数据中心需要处理的数据文件数量将至少增长75倍，而世界范围内IT专业技术人才的数量仅能增长1.5倍。”因此未来十年里大数据处理和应用需求与能提供的技术人才数量之间将存在一个巨大的差距。目前由于国内外高校开展大数据技术人才培养的时间不长，技术市场上掌握大数据处理和应用开发技术的人才十分短缺，因而这方面的技术人才十分抢手，供不应求。国内几乎所有著名的IT企业，如百度、腾讯、阿里巴巴和淘宝、奇虎360等，都大量需要大数据技术人才。
