FangHeart's blog

爱生活,爱编码。


  • 首页

  • 分类

  • 关于

  • 归档

  • 标签

  • 搜索

大数据之路读书笔记(一)

发表于 2018-05-26 | 分类于 大数据之路 | 阅读次数
名词DataX异构数据库交换服务产品,从不同数据库数据源中获得数据转换为中间状态,并且可以在目标数据系统中再将中间状态的数据转换为对应的格式写入。TDDL(Taobao distributed Data Layer)分布式数据库访问引擎,通过建立中间状态的逻辑表来整合统一分库分表的访问。IDB 是用于统一管理Mysql、OceanBase、PostgreSQL、Oracle、SQL Server等关系型数据库的平台,它是一种集数据管理、结构管理、诊断优化、实时监控和系统管理于一体的数据管理服务。在对集群数据库表的统一管理服务中,IDB产出了数据库、表、字段各个级别元数据信息,并且提供了元数据接 ...
阅读全文 »

Java BIO、NIO、AIO【转载】

发表于 2017-07-28 | 分类于 java高可用 | 阅读次数
1、BIO编程1.1、传统的BIO编程网络编程的基本模型是C/S模型,即两个进程间的通信。服务端提供IP和监听端口,客户端通过连接操作想服务端监听的地址发起连接请求,通过三次握手连接,如果连接成功建立,双方就可以通过套接字进行通信。传统的同步阻塞模型开发中,ServerSocket负责绑定IP地址,启动监听端口;Socket负责发起连接操作。连接成功后,双方通过输入和输出流进行同步阻塞式通信。简单的描述一下BIO的服务端通信模型:采用BIO通信模型的服务端,通常由一个独立的Acceptor线程负责监听客户端的连接,它接收到客户端连接请求之后为每个客户端创建一个新的线程进行链路处理没处理完成后, ...
阅读全文 »

数据库索引以及mysql中的数据库引擎

发表于 2017-06-28 | 分类于 mysql | 阅读次数
数据库引擎数据库中的存储引擎其实是对使用了该引擎的表进行某种设置,数据库中的表设定了什么存储引擎,那么该表在数据存储方式、数据更新方式、数据查询性能以及是否支持索引等方面就会有不同的“效果”。在MySQL数据库中存在着多种引擎(不同版本的MySQL数据库支持的引擎不同),熟悉各种引擎才能在软件开发中应用引擎,从而开发出高性能的软件,MySQL数据库中的引擎有哪些呢?一般来说,MySQL有以下几种引擎:ISAM、MyISAM、HEAP(也称为MEMORY)、CSV、BLACKHOLE、ARCHIVE、PERFORMANCE_SCHEMA、InnoDB、 Berkeley、Merge、Federa ...
阅读全文 »

机器学习模型使用技巧、特征提升、模型正则化 、模型校验、超参数搜索

发表于 2017-06-20 | 分类于 机器学习 | 阅读次数
3.1 模型使用技巧通常情况下,并不能保证:1.所有用于训练的数据特征都是最好的2.学习得到的参数一定是最优的3.默认配置下的模型总是最佳的所以提升模型的性能很关键,这其中通常包括预处理数据、控制参数训练以及优化模型的配置等方法。 3.1.1 特征提升我们通常希望对数据特征的抽取或者筛选出来达到提升模型性能的目的。所谓的特征抽取,就是逐条将原始数据转换为特征向量的形式,这个过程同时设计对数据特征的量化表示;而特征筛选则更进一步,在高纬度、以量化的特征向量中选择对指定任务更有效的特征组合,进一步提升模型性能。 3.1.1.1 特征抽取原始数据的种类有很多种,除了数字化的信息数据,还有大量的符号化 ...
阅读全文 »

机器学习基础-有监督模型(分类、回归)、无监督模型(聚合、降维)

发表于 2017-06-11 | 分类于 机器学习 | 阅读次数
基本知识1.1.1 机器学习的任务机器学习的任务种类较多,但是常规来讲可以以监督学习(Supervised Learning)和无监督学习(Unsupervised Learning)。其中监督学习关注对事物未知表现的预测,一般包括分类问题(classification)、回归问题(Regression)。无监督学习则倾向于对事物本身特性的分析,常用的技术包括数据降维(Dimensionality Reduction)和聚类问题(Clustering)。 分类问题,便是对其所在类别进行预测,类别是离散的,同时也是预先知道数量的。例如根据一个人的身高、体重和三维判定性别,性别是离散的,男和女,同 ...
阅读全文 »

java语言基础_反射、动态代理、JDK新特性

发表于 2017-05-16 | 分类于 java基础 | 阅读次数
01_反射(类的加载概述和加载时机) A:类的加载概述 当程序要使用某个类时,如果该类还未被加载到内存中,则系统会通过加载,连接,初始化三步来实现对这个类进行初始化。 加载 就是指将class文件读入内存,并为之创建一个Class对象。任何类被使用时系统都会建立一个Class对象。 连接 验证 是否有正确的内部结构,并和其他类协调一致 准备 负责为类的静态成员分配内存,并设置默认初始化值 解析 将类的二进制数据中的符号引用替换为直接引用 初始化 就是我们以前讲过的初始化步骤 B:加载时机 创建类的实例 访问类的静态变量,或者为静态变量赋值 调用类的静态方法 使用反射方式来强 ...
阅读全文 »

mysql基本语法总结

发表于 2017-04-27 | 分类于 mysql | 阅读次数
新建数据库1234CREATE DATABASE <数据库名字>;show databases;use 数据库名; 数据库建表12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758create table employee( id int(4) unique, name varchar(20), age int(4) default 15, gender enum('male&apos ...
阅读全文 »

Java GC、老年代、新生代

发表于 2017-04-11 | 分类于 java基础 | 阅读次数
堆内存Java 中的堆是 JVM 所管理的最大的一块内存空间,主要用于存放各种类的实例对象。在 Java 中,堆被划分成两个不同的区域:新生代 ( Young )、老年代 ( Old )。新生代 ( Young ) 又被划分为三个区域:Eden、From Survivor、To Survivor。这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象,包括内存的分配以及回收。堆的内存模型大致为: 从图中可以看出: 堆大小 = 新生代 + 老年代。其中,堆的大小可以通过参数 –Xms、-Xmx 来指定。(本人使用的是 JDK1.6,以下涉及的 JVM 默认值均以该版本为准。)默认的,新生代 ...
阅读全文 »

进程与线程以及线程区别及线程同步方法

发表于 2017-04-11 | 分类于 java基础 | 阅读次数
进程与线程相关知识总结 一、什么是进程与线程他们的区别1.1简介进程是程序的动态执行过程,它经历了从代码加载,执行,到执行完毕的一个完整过程。这个过程也是进程本身从产生、发展,到最终消亡的一个过程。 多线程是实现并发机制的一个有效手段。进程和线程一样都是实现并发的基本单位。 理解多线程:如果现在同时有多个任务,则所有的系统的资源是共享的,被所有线程所公用,但是程序处理需要CPU,传统单核CPU来说同一个时间段会有多个程序执行,但是在同一个时间点上只能存在一个程序运行,也就是说所有的程序都要抢占CPU资源。但是当CPU已经发展到多核的状态了,在一个电脑上可能会存在多个CPU,这个时候就可以非常清 ...
阅读全文 »

牛客网剑指offer刷题汇总

发表于 2017-04-04 | 分类于 算法 | 阅读次数
基于牛客网刷剑指offer的全部java代码GitHub地址 00 树和链表模组各个题目中涉及的树、链表等通用定义。123456789101112131415161718class TreeNode { int val = 0; TreeNode left = null; TreeNode right = null; public TreeNode(int val) { this.val = val; }}class ListNode { int val; ListNode next = ...
阅读全文 »
12…5
FangHeart

FangHeart

不忘初心,方得始终。

43 日志
12 分类
47 标签
GitHub 微博 知乎 邮箱
  • HaroldLiuChi
  • GaoGuangYu
  • WenJieWang
  • DuanXiong
  • DongXiCheng
© 2016 - 2020 FangHeart
由 Hexo 强力驱动
主题 - NexT.Pisces
本站访客数22人次 本站总访问量52次