摘要:Java集合框架学习笔记 1. Java集合框架中各接口或子类的继承以及实现关系图: 2. 数组和集合类的区别整理: 数组: 1. 长度是固定的 2. 既可以存放基本数据类型又可以存放引用数据类型 3. 存放进数组的必须是相同类型的数据 VS 集合类: 1. 长度是可变的 2. 只能存放对象的引用 阅读全文
posted @ 2020-04-07 20:41 终极菜鸡 阅读 (116) 评论 (0) 编辑
摘要:网易云音乐用户画像大数据项目实战 之前本人整理的大多为学习笔记进行知识点的整理,而这篇将会把以前的大部分知识点串联起来,搞一个完整的项目,主要涉及的流程为模拟用户日志数据的生成,ETL以及编写sql分析函数进行最终的APP层数据的生成,由于该项目之前有做过,因此本次会在以前基础上做一些改进,将大数据 阅读全文
posted @ 2020-04-07 20:22 终极菜鸡 阅读 (34) 评论 (0) 编辑
摘要:感知机原理及代码实现 上篇讲完梯度下降,这篇博客我们就来好好整理一下一个非常重要的二分类算法——感知机,这是一种二分类模型,当输入一系列的数据后,输出的是一个二分类变量,如0或1 1. 算法原理 1.1 知识引入 说起分类算法,博主想到的另一个算法是逻辑回归,而感知机从原理上来说和回归类算法最大的区 阅读全文
posted @ 2020-02-22 00:36 终极菜鸡 阅读 (38) 评论 (0) 编辑
摘要:梯度下降法原理以及代码实现 本篇博客承接本人上一篇关于逐步回归算法的引申,本篇将开始整理梯度下降算法的相关知识。梯度下降,gradient descent(之后将简称GD),是一种通过迭代找最优的方式一步步找到损失函数最小值的算法,基本算法思路可总结为如下几点: (1) 随机设置一个初始值 (2) 阅读全文
posted @ 2020-01-22 14:52 终极菜鸡 阅读 (49) 评论 (0) 编辑
摘要:最小二乘法的回归方程求解 最近短暂告别大数据,开始进入到了算法学习的领域,这时才真的意识到学海无涯啊,数学领域充满了无限的魅力和乐趣,可以说更甚于计算机带给本人的乐趣,由于最近正好看到线性代数,因此,今天我们就来好好整理一下机器学习领域中的一个非常重要的算法——最小二乘法,那么,废话不多说,我们直接 阅读全文
posted @ 2020-01-17 16:15 终极菜鸡 阅读 (172) 评论 (0) 编辑
摘要:HBase与其他大数据组件的整合 HBase作为一个以列作为存储形式的大数据组件,具有查询快,存储的数据量大等特点,那么,该组件是如何与Hadoop生态圈中的其他组件进行整合并进行数据的各种导入导出的呢,这篇博客会就这个问题做一个详细的整理,那么废话不多说,我们直接开始吧! 1. Hbase与Hiv 阅读全文
posted @ 2019-12-21 22:12 终极菜鸡 阅读 (129) 评论 (0) 编辑
摘要:MariaDB修改配置文件允许远程访问 最近在使用MariaDB数据库配置用户的远程访问的时候,遇到了一个坑,费了些功夫解决了一下,特此写一下博客,以防下次再遇到的时候忘了解决方案,废话不多说,我们直接开始! 1. 问题描述 当我们使用mysql数据库作为一个外部数据的统一接口时,需要在mysql中 阅读全文
posted @ 2019-12-19 17:50 终极菜鸡 阅读 (149) 评论 (0) 编辑
摘要:pycharm安装第三方包问题解决 pycharm是一个基于python的非常好用的集成开发环境,而python有许多非常不错的开源第三方库,这就需要将一些这样的第三方库导入到我们的项目中去了。然而,有时会出现各种问题导致无法下载或导入这些包,那么,今天本人就在这儿对出现的一些问题及解决方案做一个整 阅读全文
posted @ 2019-12-18 13:24 终极菜鸡 阅读 (597) 评论 (0) 编辑
摘要:Spark工作机制以及API详解 本篇文章将会承接上篇关于如何部署Spark分布式集群的博客,会先对RDD编程中常见的API进行一个整理,接着再结合源代码以及注释详细地解读spark的作业提交流程,调度机制以及shuffle的过程,废话不多说,我们直接开始吧! 1. Spark基本API解读 首先我 阅读全文
posted @ 2019-12-17 22:26 终极菜鸡 阅读 (309) 评论 (0) 编辑
摘要:Spark完全分布式完整部署教程 继Mapreduce之后,作为新一代并且是主流的计算引擎,学好Spark是非常重要的,这一篇博客会专门介绍如何部署一个分布式的Spark计算框架,在之后的博客中,更会讲到Spark的基本模块的介绍以及底层原理,好了,废话不多说,直接开始吧! 1. 安装准备 部署Sp 阅读全文
posted @ 2019-12-14 12:24 终极菜鸡 阅读 (177) 评论 (0) 编辑
最新chease0ldman老人