大数据
-
全球敏捷运维峰会Gdevops 2017成都站嘉宾主题提前看！
2017年全球敏捷运维峰会（Gdevops, Global Devops Summit）将于2017年在成都、上海、北京、广州四城全面启动，本次峰会由上海市经济和信息化委员会指导，上海市云计算产业促进中心、DBAplus社群主办，数十家媒体单位共同支持，活动家提供全球敏捷运维峰会在线报名服务。 成都站即将于13日启航，搭车地址：https://www.huo…
-
一起学习吧：SDCC 2017即将在上海共话架构、数据和运维！
2017活动家邀你一起学习吧！SDCC 2017在上海共话架构、数据和运维，还有两天！【召开时间为：3月17至3月19日】 在互联网大潮下，2017年的就业环境越发恶劣，技术人如何去适应技术变革和学习新技术，以及如何快速增强自身的技术实力成为亟需解决的问题。如果你在看完一本技术图书后还是疑惑不解，处于目前项目遇到困难时无人请教的尴尬境地，亦不清楚业界同行在使…
-
优云软件数据专家最佳实践：数据挖掘与运维分析
这份研究报告，作者是优云软件数据专家陈是维，在耗时1年时间制作的一份最佳实践，今天和大家分享下，关于《数据采矿和运维分析》，共同探讨~ 数据挖掘（Data Mining）是从大量数据中提取或“挖掘”知识。 广义数据挖掘：数据挖掘是从存放在数据库、数据仓库或其它信息库中的大量数据挖掘有趣知识的过程。 数据挖掘技术侧重：1）概率与数理统计 2）数据库技术 3）人…
-
Memcache存储大数据的问题
Memcache存储大数据的问题 huangguisu Memcached存储单个item最大数据是在1MB内，如果数据超过1M,存取set和get是都是返回false，而且引起性能的问题。 我们之前对排行榜的数据进行缓存，由于排行榜在我们所有sql select…
-
大数据计算：如何仅用1.5KB内存为十亿对象计数
Big Data Counting: How To Count A Billion Distinct Objects Using Only 1.5K This is a guest post by Matt Abrams (@abramsm), from Clearspring, discussing how they are able to accurat…
-
使用Storm实现实时大数据分析
摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。 简单和明了，Storm让大数据分析变得轻松加愉快。 当今世界，公司的日常运营经常会生成TB级别的数据。数据来源…
-
6个用于大数据分析的最好工具
大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。 在大数据和大数据分析，他们对企业的影…
-
常用大数据词汇中英文对照表
A 聚合(Aggregation) – 搜索、合并、显示数据的过程 算法(Algorithms) – 可以完成某种数据分析的数学公式 分析法(Analytics) – 用于发现数据的内在涵义 异 常检测(Anomaly detection) – 在数据集中搜索与预期模式或行为不匹配的数据项。除了“Anomalies”,用来表示异常的词有以下几种：outlie…
-
关于大型网站技术演进的思考（三）：存储的瓶颈（3）
原文出处： 夏天的森林 存储的瓶颈写到现在就要进入到深水区了，如果我们所做的网站已经到了做数据库垂直拆分和水平拆分的阶段，那么此时我们所面临的技术难度的挑战也会大大增强。 这里我们先回顾下数据库的垂直拆分和水平拆分的定义： 垂直拆分：把一个数据库中不同业务单元的数据分到不同的数据库里。 水平拆分：是根据一定的规则把同一业务…
-
数据分析≠Hadoop+NoSQL，不妨先看完善现有技术的10条捷径
让业务搭乘大数据技术确实是件非常有吸引力的事情，而Apache Hadoop让这个诱惑来的更加的猛烈。Hadoop是个大规模可扩展数据存储平台，构成了大多数大数据项目基础。Hadoop是强大的，然而却需要公司投入大量的学习精力及其它的资源。 如果得到正确的应用，Hadoop确实能从根本上提升你公司的业务，然而这条Hadoop的应用之路却充满了荆棘。另一个方面…
