-
![[bigdata-003]在cdh 5.7下 用sqoop1将mysql数据库数据导入到hdfs](/uploads/allimg/c190930/15ET345E5260-1X96.gif)
[bigdata-003]在cdh 5.7下 用sqoop1将mysql数据库数据导入到hdfs
所属栏目：[大数据] 日期：2021-01-08 热度：142
1. 假设，myql安装在bigdata2上。我们要在bigdata3上执行sqoop1。 2. 首先，要在mysql上创建一个'b3'@'%'的账户，这个账户限定只能从外部ip地址访问mysql。 3. 在bigdata3上做如下操作 http://www.cloudera.com/documentation/enterprise/5-7-x/topics/cdh[详细]
-
挖掘微信Web版通信的全过程
所属栏目：[大数据] 日期：2021-01-08 热度：79
昨天是周末，在家闲得无聊，于是去weiphone.com逛了一圈，偶然发现有人发了一帖叫《微信 for Mac》，这勾起了我的好奇心，国内做Mac开发的人确实很少，对于那些能够独自开发一些Mac第三方工具的开发者我都表示很敬畏，于是点进去看了一个究竟，如果你们好[详细]
-
[bigdata-004]CDH Impala的应用场景
所属栏目：[大数据] 日期：2021-01-08 热度：66
可以将Impala视为改进版的Hive。 两者都使用SQL语言，且Imapal的SQL是Hive SQL的子集。 Hive慢，Impala快，测试的结果是，常规问题上，Impala比Hive快十倍。有了Impala，Hive就可以不用了。 Impala没有索引。这是一个非常显著的特征，没有索引，就不能快速[详细]
-
LightOJ1214 Large Division （大数求余,同余定理）
所属栏目：[大数据] 日期：2021-01-08 热度：158
Given two integers,a and b,you should check whether a is divisible by b or not. We know that an integer a is divisible by an integer b if and only if there exists an integer c such that a = b * c. Input Input starts with an integer T (≤[详细]
-
从大数据中挖掘什么？
所属栏目：[大数据] 日期：2021-01-08 热度：116
副标题#e# 本文内容来自：李航博士的新浪博客 网址：http://blog.sina.com.cn/s/blog_7ad48fee0101cgy0.html 导读 大数据挖掘中最重要的是决定挖掘什么样的知识，这是在数据的收集、处理、挖掘的整个过程中都需要认真考虑的问题。本文首先提出大数据挖掘的[详细]
-
输入/输出技术--挖掘之八
所属栏目：[大数据] 日期：2021-01-08 热度：114
副标题#e# 微型计算机中最常用的内存与接口的编制方法 ? ?计算机系统中存在多种内存与接口地址的编址方法，常见的是下面的两种：内存与接口地址独立编址、内存与接口地址统一编址。 ? 1. 内存与接口地址独立编址方法 在这种编址方法下，内存地址和接口地址[详细]
-
顶级大数据处理框架
所属栏目：[大数据] 日期：2021-01-08 热度：57
摘要 讨论了五个大数据处理框架：Hadoop，Spark，Flink，Storm，Samaza 如今大量数据不断产生，去纠结具体多大才算大数据没什么意义。 就像“人工智能”一样，大数据这个词的具体含义是变化的。几十年前对人工智能的期待大多已经实现，如今已经不管这部分[详细]
-
计算机可靠性--挖掘之九
所属栏目：[大数据] 日期：2021-01-08 热度：108
计算机可靠性概述 计算机系统的可靠性是指从它运行开始（t=0）到某时刻t这段时间内能正常运行的概率，用R(t)表示。所谓的失效率是指单位时间内失效的元件数和元件总数的比例，用c表示，当c为常数时，可靠性和失效率的关系为： ln(R(t))=-ct Note:没有数学[详细]
-
闲话用户画像amp;数据价值挖掘
所属栏目：[大数据] 日期：2021-01-08 热度：150
文·blogchong 引子 大伙儿看到题图是不是感觉有点奇怪？ 哈哈，没错，这个截图是我用某个微信公众号分析工具提取的我公众号的画像报告。 其他的不说了，单就截图的这些信息吧来分析一下吧。 男女比例各50%？ 公众号阅读者族群分布，宅男宅女19.94%，家庭[详细]
-
蓝桥杯,算法训练,区间k大数查询
所属栏目：[大数据] 日期：2021-01-08 热度：152
问题描述 给定一个序列，每次询问序列中第l个数到第r个数中第K大的数是哪个。 输入格式 第一行包含一个数n，表示序列长度。 第二行包含n个正整数，表示给定的序列。 第三个包含一个正整数m，表示询问个数。 接下来m行，每行三个数l,r,K，表示询问序列从左[详细]
-
免费报名参加“大数据时代的大数据分析与展现”技术分享会
所属栏目：[大数据] 日期：2021-01-08 热度：149
大数据时代已经到来，大数据技术及应用正在以前所未有的深度和广度蓬勃发展，大数据的价值正快速攀升。在这样一个新时代，摆在IT人员面前的问题是：如何追踪大数据技术的最新进展以形成创新工程的重要增长点？随着互联网+行动计划进一步推进实施，大数据正[详细]
-
目前最常用的文本挖掘包是 tm 包，该包已经成了事实上的分析标准
所属栏目：[大数据] 日期：2021-01-08 热度：102
目前最常用的文本挖掘包是 tm 包，该包已经成了事实上的分析标准， 几乎所有的其他 R 包都是基于这个框架的。但是 tm 包具有一些缺陷， 在R中进行分析的时候不是很方便。 ? ? ? ? 最明显的问题是中文支持得不够好， 其函数的设计并没有考虑到国际化的需求[详细]
-
hdu1002——A + B Problem II（大数加）
所属栏目：[大数据] 日期：2021-01-08 热度：134
Problem Description I have a very simple problem for you. Given two integers A and B,your job is to calculate the Sum of A + B. Input The first line of the input contains an integer T(1=T=20) which means the number of test cases. Then T[详细]
-
从Quora和Spotify案例看数据处理与背后的思考——QCon旧金山参会
所属栏目：[大数据] 日期：2021-01-08 热度：151
副标题#e# 编者按：QCon 是由 InfoQ 主办的全球顶级技术盛会，每年在伦敦、北京、纽约、圣保罗、上海、东京和旧金山等城市召开。前不久，阿里云工程师子嘉赴美参加了 QCon 旧金山，并撰写了几篇笔记。第一篇我们已经发布：容器与调度——QCon旧金山参会总结[详细]
-
算法提高 大数加法
所属栏目：[大数据] 日期：2021-01-02 热度：198
问题描述 输入两个正整数a,b，输出a+b的值。 输入格式 两行，第一行a，第二行b。a和b的长度均小于1000位。 输出格式 一行，a+b的值。 样例输入 4 2 样例输出 6 #includestdio.h#includestring.hvoid fun(int n,int sum[]){int temp,i;for(i=0;in;i++){temp[详细]
-
[bigdata-031] python3+selenium 做抓取
所属栏目：[大数据] 日期：2021-01-02 热度：137
1. 安装 1.1 pip3 install -U selenium 1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩，然后放到/usr/bin目录 2. 抓取豆瓣 #!/usr/bin/env python3#!-*- coding:utf-8 -*-impor[详细]
-
logminer挖掘
所属栏目：[大数据] 日期：2021-01-02 热度：73
1.???? Logminer介绍 LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具，使用该工具可以轻松获得Oracle 重做日志文件（归档日志文件）中的具体内容，LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图组成，它作为Oracle数据库的[详细]
-
[bigdata-005] 用docker搭建oracle 11g并提供python3 开发
所属栏目：[大数据] 日期：2021-01-02 热度：75
参考资料 http://www.bubuko.com/infodetail-401514.html 1. docker上的oracle 11g https://hub.docker.com/r/alexeiled/docker-oracle-xe-11g/ 安装和启动命令： 1.1 docker pull alexeiled/docker-oracle-xe-11g 1.2 docker run --name dck-oracle-11g -[详细]
-
[bigdata-006] 工作流 tez和oozie
所属栏目：[大数据] 日期：2021-01-02 热度：72
1.? 基本状况 Tez是Hortonworks开发的。 董西成的分析 http://dongxicheng.org/mapreduce-nextgen/apache-tez/ http://zh.hortonworks.com/blog/introducing-tez-faster-hadoop-processing/ tez运行在Yarn上的，DAG工作流，底层设计，对Map和Reduce进一步[详细]
-
HDoj1047Integer Inquiry(大数连续相加)
所属栏目：[大数据] 日期：2021-01-02 热度：86
Integer Inquiry Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 19438????Accepted Submission(s): 5087 Problem Description One of the first users of BIT's new supercomputer was Chip[详细]
-
读取csv数据并保存成图像
所属栏目：[大数据] 日期：2021-01-02 热度：73
int main(int argc,char* argv[]){ifstream file("******.csv");string value;int i = 0;int j = 0;while (file.good()){getline(file,value,'n');//cout string(value,value.length()) endl;if (i 0){value.erase(0,2);value.erase(value.length() - 9);[详细]
-
几种大数阶乘算法效率比较（Java）
所属栏目：[大数据] 日期：2021-01-02 热度：184
完整代码： package bigdatamul;import java.math.BigInteger;/** * 大数阶乘 * * @Description: TODO(大数阶乘) * * @author yzy * @date 2016-12-20 上午9:31:14 * */public class Test { public static void main(String[] args) { //单位：ms //fun1(5[详细]
-
报告一：知识工程与大数据分析
所属栏目：[大数据] 日期：2021-01-02 热度：176
报告一：知识工程与大数据分析 报告人：漆桂林博士，东南大学教授 主要内容：知识工程是人工智能的重要分支之一，知识的获取和基于知识的推理能力是人类高级智能的体现。知识工程涉及到机器学习、知识表示与推理、自然语言处理和数据存储等技术。本报告将[详细]
-
数据处理之one-hot
所属栏目：[大数据] 日期：2021-01-02 热度：124
分类方法，通常需要把数据的各个属性转换为一个向量表示，这样每条数据的特征就是一个向量，向量上的每个维度就表示了一个特征属性。 但是如果要转换的数据包含了3种属性，比如身高，体重，年龄。A是女，168cm，70kg，30岁；B是男，180cm，90kg,20岁，那么[详细]
-
米斯特白帽培训讲义 挖掘篇 厂商寻找
所属栏目：[大数据] 日期：2021-01-02 热度：80
米斯特白帽培训讲义 挖掘篇 厂商寻找 讲师：gh0stkey 整理：飞龙 协议：CC BY-NC-SA 4.0 厂商是什么 厂商可以是一个网站（Web 应用），或者一段程序（PC、移动应用）。从白帽子的角度来说，两个都是厂商，都可以挖掘。 基于漏洞平台的寻找 现在国内有三大[详细]
