BDTC 2017丨金融级分布式架构最佳实践
12月7-9日，由中国计算机学会主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、中科天玑数据科技股份有限公司、CSDN协办的2017中国大数据技术大会（BDTC2017），在北京新云南皇冠假日酒店隆重举行。本次大会以“大数据与智能”为主题，聚焦最纯粹的技术干货分享，和最接地气的深度行业案例实践，汇聚国内外顶尖技术专家，共论最新的大数据技术实践与发展趋势。金融级分布式数据库发展巨杉数据库解决方案总监彭旸彭旸，巨杉数据库解决方案总监，负责巨杉数据库解决方案与技术生态。曾任SAP加拿大零售产品负责，超过15年国际零售咨询及数据服务经验；熟悉大数据技术与各项大数据服务平台；曾在北美从事数据分析平台研发；上海大数据联盟成员；上海市智慧园区促进会理事单位成员。在巨杉数据库解决方案总监彭旸的支持下，金融级分布式架构专场正式开始。彭旸发表了《金融级分布式数据库发展》的主题演讲，他表示伴随着金融科技新型业务的不断发展，跨部门、跨业务的数据访问成为企业的核心需求。但是，各业务系统独立存放的数据往往形成一个个“数据孤岛”，使得企
MySQL参数sql_slave_skip_counter
摘要：某天，看到了一篇数据库大牛微信号推送的文章，内容是关于sql_slave_skip_counter参数的，文章指出阿里P6、P7也不一定都了解这个参数，所以尝试学习一下该参数。setglobalsql_slave_skip_counter=N中N是什么意思呢？仅仅是事务的个数吗？还是说SQL的个数呢？下面我们一起探寻结果。某天，看到了一篇数据库大牛微信号推送的文章，内容是关于sql_slave_skip_counter参数的，文章指出阿里P6、P7也不一定都了解这个参数，所以尝试学习一下该参数。setglobalsql_slave_skip_counter=N中N是什么意思呢？仅仅是事务的个数吗？还是说SQL的个数呢？下面我们一起探寻结果。该参数最常见场景莫过于在主从复制中由于种种原因导致的主从数据不一致，从必须跳过该事务后才能正常恢复正常状态但是在5.7后的MySQL中不太常用该参数，因为该参数与gtid_mode=on不可同时使用。所以如果想用该参数的话可以修改gtid_mode为on_permissive、off_perm
mysql 双机热备注意事项
上一篇文章已经介绍过主从复制，本文对主从复制只是简单描述，如对主从复制不清楚的，可以先看上一篇文章主从复制一：介绍mysql版本：5.7.20第一个主服服务器ip:192.168.71.139第二个主服服务器ip:192.168.71.141二：配置第一台主服务器192.168.71.1391:修改/etc/mysql/my.cnf文件,注意这里的#是注释，不要写到配置文件中server-id=141#服务器id,不能重复，建议用ip后三位。log-bin=mysql-binbinlog-ignore-db=mysql,information_schema#忽略写入binlog日志的库auto-increment-increment=2#字段变化增量值auto-increment-offset=1
SQL Server 2016 快照代理过程分析
概述快照代理准备已发布表的架构和初始数据文件以及其他对象、存储快照文件并记录分发数据库中的同步信息。快照代理在分发服务器上运行；SQLServer2016版本对快照代理做了一些比较好的优化，接下来详细了解一下快照的执行过程。一、快照代理文件在执行快照作业是会在指定的快照目录生成4种类型的文件。BCP文件：发布对象的数据文件。IDX文件：索引创建脚本文件PRE文件：复制快照脚本文件。SCH文件：架构创建脚本文件二、默认快照代理配置文件-BcpBachSize:每一次执行bcp操作copy的最大记录行数，默认是10万行。-HistoryVerboseLevel:指定在快照操作过程中记录的历史记录大小。-LoginTimeout:登录超时前等待的秒数。默认值为15秒。-QueryTimeOut:查询超时前等待的秒数。默认值为1800秒备注：通过右键快照代理-快照代理配置文件；可以配置快照代理。三、对比不同版本快照代理接下来测试对比2亿的记录表生成快照1.bcp文件数量对
vue搭建环境
vue搭建环境大早起的，没想自己起来那么早，既然起来了，就写点东西吧~最近在看Vue的东西，发现网上也是好多的资源，包括博客和视频，我是看的慕课网上的vue，名字忘记了，价格148的，看了，也整理了笔记，看了好多人博客去学习语法，知识，自己练习，但还是会忘，脑子真的老了，老想着整理到博客上，一直想，从来没开始，哈哈哈~今天算是开始了，也是给自己个目标吧，言归正传，说我们的vue这个文章呢，不涉及具体的vue语法，个人感觉官网上非常的详细，可以反复学习，练习，连接奉上https://cn.vuejs.org/v2/guide/，构建自己的开发环境现在开始。一环境需要安装node，给出下载地址http://nodejs.cn/download/本人电脑Windows系统，因此以下所有的输入都是在此系统下的如图，选择自己的电脑匹配的，哈哈哈，如果不知道自己电脑多少位的，退到桌面，右击‘计算机’选择属性，查看即可【前面的废话本不想写，我是真的遇到不知道怎么看的】下载完事之后，
ng-alain 发布 0.2 版本
@delon/abc（AngularBusinessComponets）所有组件都基于AntdDesign风格每一个组件都可以单独导入基于G2，业务中常用的图表类型原有shared/components组件外，新增count-down新增若干表单校验器（例如：手机号、身份证）@delon/acl基于角色权限控制ng-alain脚手架只剩下一个非常简单的项目，继而利用@delon类库进一步向上构建产品。@delon类库本身只有一个原则基于AntDesign理念，由于实际上并不受限于ng-alain脚手架上的使用，对于一些符合AntDesign的Angular项目都可以非常好的运用。当然，一个好的开源文档非常重要，0.2开始所有文档将不在ng-alain脚手架中出现，而是ng-alain.com站点里。后续主要工作将新增@delon/auth快速解决中台前端认证、Token管理问题。
使用 CodeMirror 打造属于自己的在线代码编辑器
写这个的目的是因为之前项目里用到过CodeMirror，觉得作为一款在线代码编辑器还是不错，也看到过有些网站用到过在线代码编辑，当然我不知道他们是用什么做的，这里我把公司项目里用到的那部分抽出来，单独写篇博客，并把抽出来的那部分代码提交到GitHub去（地址），以防日后可能会再次用到（没准毕业设计里可能用的到）。简单介绍CodeMirror是一款在线的支持语法高亮的代码编辑器。官网：http://codemirror.net/可能光看官网，第一眼觉得那些在线编辑器有点丑，反正第一眼给我的感觉就是这样子，但是经过自己的细调，也能打造出一款精美的在线代码编辑器。官网可以把它下载下来。下载后，解压开得到的文件夹中，lib下是放的是核心库和核心css，mode下放的是各种支持语言的语法定义，theme目录下是支持的主题样式。一般在开发中，添加lib下的引用和mode下的引用就够了。如何使用下面两个是使用CodeMirror必须引入的：
初识websocket
前言：工作中在验证前端页面展示数据时，接触到websocket这一概念，这里粗略记录下关于websocket的理解和常用方式。（1）什么是websocket？命名：看起来好像和socket有某种关系，但是根据查询了解到，WebSocket只是借用了这一概念，使用方面，完全两个东西，大概因为Socket早在它之前已经是一个深入人心的概念。官方解释：WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信——允许服务器主动发送信息给客户端。--百度百科简单理解：WebSocket是一种为了满足浏览器与服务器端实时数据交互需要而制订的一种新的网络协议。可以把WebSocket想象成HTTP，同为应用层协议，在与服务器通信过程扮演角色类似。但是WebSocket是基于TCP的应用层协议，只需要一次连接(握手)，以后传输数据不需要重新建立连接，可以直接发送数据，这里就区分了和http协议的不同（每次都要重新请求，服务端返回数据后结束）。javascript中常用的ajax技术所做的
浅谈canvas绘画王者荣耀--雷达图
背景：一日晚上下班的我静静的靠在角落上听着歌，这时"滴!滴!"手机上传来一阵qq消息。原来我人在问王者荣耀的雷达图在页面上如何做出来的，有人回答用canvas绘画。那么问题来了，已经好久没有使用canvas绘画了东西。SO，就想自己画一个canvas雷达图，顺便重新回顾一下canvas的知识点。王者荣耀雷达图的基本构成。聊天记录当中的雷达图不是特别清楚，所以我这边截图了自己的一个战绩雷达图。是不是有被我的战绩吓到了，害不害怕！好了扯远了，让我们回到正题上来。通过截图上面的雷达图基本主体是一个正六边形，每个顶点则配有相应的文字说明。然后就是中间红色区域部分则由对角线上的点，连成一圈填充构成。因此这里我们称它为数据填充区所以这个雷达图我们分为三步来完成。①正六边形②数据填充区③绘制文本正六变形的坐标点解析在绘画这个正六边形的时候，先让我们对于这个正六边形进行简单的数学分析。这里先用画板画一个正六变形，然后进行切割并切角。是吧，借用以前高中还是初中的数学，正六边形的内角和720°，那么每一
【Win 10 应用开发】将墨迹保存到图像的两种方法
【Win10应用开发】将墨迹保存到图像的两种方法IT界最近这几年，各种乱七八糟的东西不断出现，其中能用在实际工作与生活中的，大概也就那么几个。Web前端也冒出各种框架，这就为那些喜欢乱用框架的公司提供了很好的机会，于是造成很多项目体积越来越庞大，越来越难维护。一切变得越来越没有标准，所以，很多公司在招聘码农时就特能乱写，还要求你精通AA，BB，CC，DD，EE，FF，GG……甚至有的不下二三十项要求。老周觉得这些公司基本上是神经病，先不说世界没有人能精通那么多东西，就算真有人能精通那么多，那估计这个人也活不久了，早晚得累死的。实际上，Web前端你能学会三样东西就够了——HTML、CSS、JS，其他纯属娱乐。所以，学习编程的话，你抓几个有代表性地学就好了，比如C/C++，.net，PHP，Java这些，其余的嘛，现学现用，用完就扔。你要是想让自己变成高手的话，那你就必须挑一个方向，纵向深度发展。什么都学等于什么都不通，学乱七八糟的东西是成不了高手的。就拿黑客这一活儿来说，只有第一代，第二代黑客比较强，后面的基本是菜鸟，一代不如一
C#爬虫系列（一）——国家标准全文公开系统
C#爬虫系列（一）——国家标准全文公开系统网上有很多Python爬虫的帖子，不排除很多培训班借着AI的概念教Python，然后爬网页自然是其中的一个大章节，毕竟做算法分析没有大量的数据怎么成。C#相比Python可能笨重了些，但实现简单爬虫也很便捷。网上有不少爬虫工具，通过配置即可实现对某站点内容的抓取，出于定制化的需求以及程序员重复造轮子的习性，我也做了几个标准公开网站的爬虫。在学习的过程中，爬网页的难度越来越大，但随着问题的一一攻克，学习到的东西也越来越多，从最初简单的GET，到POST，再到模拟浏览器填写表单、提交表单，数据解析也从最初的字符串处理、正则表达式处理，到HTML解析。一个NB的爬虫需要掌握的知识不少，HTTP请求、响应，HTMLDOM解析，正则表达式匹配内容，多线程、数据库存储，甚至有些高级验证码的处理都得AI。当然，爬爬公开标准不是那么难，比如国家标准全文公开系统。整个过程需要爬以下页面：列表页详细信息页文件下载页需要处理的技术问题有：HTTP请求正则表达式HTML解析SqlLite数据库存储一、列
LeakCanary原理浅析
LeakCanary原理浅析1.LeakCanary简介LeakCanary是一个Android和Java的内存泄漏检测库，可以大幅可以大幅度减少了开发中遇到的OOM问题。LeakCanary开源库的地址为：LeakCanary开源库LeakCanary的README地址如下：LeakCanary的README2.如何使用LeakCanary使用LeakCanary非常简单，只需要在Application的onCreate()方法里面调用LeakCanary.install(this)方法，就像下面一样：publicclassExampleApplicationextendsApplication{@OverridepublicvoidonCreate(){super.onCreate();//如果是在HeapAnalyzer进程里，则返回，因为该进程是专门用来堆内存分析的。if(LeakCanary.isInAnalyzerProcess(this)){//Thisprocessisdedi
潜伏 17 年！微软程序员遗留的 BUG 终于被修复
根据ZDNet前几日的报道，微软悄然修复了一个远程执行BUG，而这个BUG居然安全地在Windows和Office中躺了17年。2017年11月的微软公司补丁日，微软公司共计修复了53个安全漏洞，其中比较引人关注的莫过于悄然修复了一个远程执行BUG。该漏洞在Windows和Office中居然安全的潜伏了17年之久，影响所有当前流行的Office版本，包括目前已停更的Office2007。一旦用户打开恶意文档，无需其他操作，就会被植入后门木马，被不法分子完全控制电脑。该漏洞潜伏时间长达17年之久，比今年5月引发WannaCry勒索病毒事件的“永恒之蓝”漏洞潜伏期还要多1年。事实上，安全公司EMEmedi早就向微软披露了这一漏洞，他们在微软发布的一个老旧的工具EquationEditor中的EQNEDT32.EXE可执行程序中找到了这一漏洞。微软随后补丁日中彻底将其铲除，识别号CVE-2017-11882。
美团外卖的程序员们，你们要挺住
坐在我旁边的一位PHP妹子，很诧异的看着他们，走到我身边问我，你们怎么能这样呢！不就是个妹子吗，至于吗？我天天在公司也没见你们这么热情啊，内心受到一万点伤害。中午的时候，准备点外卖，打开美团外卖APP，选了半天，然后下单支付。结果悲剧了，付款失败，再重新支付，又失败了，折腾了好几次还是没有成功。最后打开饿了么APP点了一份外卖。结果，40分钟后，我收到了三份美团外卖。我内心是崩溃的。公司里竟然有好多同事和我一样，难道美团外卖的程序员们都出去送外卖了？突然想起来前几天看到的一张图。百度外卖的一位外卖小哥到某公司送外卖，看到一位iOS程序员坐在电脑前为一个bug抓头挠腮，外卖小哥就凑上去帮他改bug。难道美团外卖的程序员们出去送外卖也碰到了这样的事情，仗义出手解决bug。前几天，新浪微博更新APP版本上线，更新的日志又祭出了一位程序员。程序员真的是一种高危职业啊，动不动就用程序员来祭天。看来，今天美团外卖的程序员们又要被祭天了。同样作为一名程序员，我还是很关心同行的，于是我上网查了一下，果然，美团的程序员同行们这回又背锅了。心疼他们。
【MySQL索引】使用教程
SpringCloud实战视频下载Javaweb练手项目源码下载精选Javaweb相关视频教程100套IT类简历模板下载关于MySQL索引的好处，如果正确合理设计并且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL就是一个人力三轮车。对于没有索引的表，单表查询可能几十万数据就是瓶颈，而通常大型网站单日就可能会产生几十万甚至几百万的数据，没有索引查询会变的非常缓慢。还是以WordPress来说，其多个数据表都会对经常被查询的字段添加索引，比如wp_comments表中针对5个字段设计了BTREE索引。一个简单的对比测试以我去年测试的数据作为一个简单示例，20多条数据源随机生成200万条数据，平均每条数据源都重复大概10万次，表结构比较简单，仅包含一个自增ID，一个char类型，一个text类型和一个int类型，单表2G大小，使用MyIASM引擎。开始测试未添加任何索引。执行下面的SQL语句：mysql>SELECTid,FROM_UNIXTIME(time)FROMarticle
JavaScript--我发现，原来你是这样的JS：函数表达式和闭包
//1.函数声明写法functionfn2(){console.log('函数声明');}//2.函数表达式写法varfn1=function(){console.log('函数表达式');}区别：1.函数声明是用function后面有函数名，函数表达式是赋值形式给一个变量。2.函数声明可以提升函数，而函数表达式不会提升函数提升就是函数会被自动提升到最前方，以至于再调用函数后再声明函数也不会有错：//例子：//先调用运行sayName();//再声明函数functionsayName(){console.log('ry');}//运行结果'ry'函数表达式就不会被提升：//先调用sayBye();//函数表达式varsayBye=function(){console.log('byebye');}//运行报错但是下面的写法很危险：因为存在函数声明的提升//书上代码if(condition){functionsayHi(){console.log('hi');}}else{functionsayHi()
babel-preset-env：你需要的唯一Babel插件
babel-preset-env是一个新的preset，可以根据配置的目标运行环境（environment）自动启用需要的babel插件。目前我们写javascript代码时，需要使用N个preset，比如：babel-preset-es2015、babel-preset-es2016。es2015可以把ES6代码编译为ES5，es2016可以把ES2016代码编译为ES6。babel-preset-latest可以编译stage4进度的ECMAScript代码。问题是我们几乎每个项目中都使用了非常多的preset，包括不必要的。例如很多浏览器支持ES6的generator，如果我们使用babel-preset-es2015的话，generator函数就会被编译成ES5代码。babel-preset-env的工作方式类似babel-preset-latest，唯一不同的就是babel-preset-env会根据配置的env只编译那些还不支持的特性。使用这个
分享9款很有创意的HTML5动画
HTML5非常强大，尤其是结合CSS3、jQuery和SVG，可以制作很多非常酷的动画特效。我们也在这里分享过很多不错的HTML5动画，有兴趣的朋友可以点进去看看。今天我们整理了9款非常有创意的HTML5动画，希望你会喜欢。1、HTML5/CSS3实现大风车旋转动画这次我们要来分享一款很酷的HTML5动画，是一个可以旋转的大风车动画效果，回顾一下利用HTML5实现的旋转动画，我们可以看HTML5/CSS3实现3D旋转陀螺动画，它们的实现都是利用CSS3的transform:rotate属性，这款大风车动画的确比较厉害的。在线演示/源码下载2、用HTML5/CSS3给女朋友送个生日蛋糕现在有了HTML5，我们在浏览器上制作动画已经不是什么难事了，但是一个好的创意却很难，比如说用技术来博得女孩子的喜欢。今天我们分享的这款生日蛋糕动画非常有创意，它是用svg来做的，利用HTML5的api让制作蛋糕的过程展示出来，这个蛋糕在妹子生日的时候送给她一定会让她觉得很惊奇。祝你成功哦！在线演示/源码下载3、HTML5
Visual Studio 2017 15.6 版本预览，增加新功能
VisualStudio201715.6版本预览，这个最新的预览包含新功能，生产力改进和其他增强功能，以解决客户的反馈意见。本发行版中的更新摘要Python不再需要完成数据库，Anaconda用户现在可以支持conda。团队资源管理器支持Git标签，VisualStudio团队服务拉取请求分支。现在可以暂停安装，稍后恢复。许多VisualStudio可执行文件的文件版本现在反映了次要版本。CPU使用率工具现在显示基于的特定代码行的CPU消耗源极线高亮。您现在可以使用VisualStudio帐户访问Azure资源，例如密钥保管库。在调试器现在支持通过转储调试SetThreadDescription的API设置线程名称。本发行版中修复的主要问题以下是本版本中解决的客户报告问题：在Git中切换分支会打破智能感知。变量模板中的折叠表达式无法编译。登录窗口挂起。修复“Microsoft.VisualStudio.Setup.Utility.StringUtility”的类型初始值设定项
字符串阵列分别输出元素的索引，原值和长度
下面有一个字符串阵列：string[]strArr={"adg45","frwqer","sfd5rtgsd","pdlfd**l","qr$%Ulf5fjk","hlef"};当你接到这个问题时，你是怎样解决写实现呢？直接写代码？还是运行面向对象的思维来开发呢？既然有此一问，下面Insus.NET分享自己的实现方法：创建一个对象，即代字符串阵列中每一个元素的对象：classItem{privateint_Index;publicintIndex{get{return_Index;}set{_Index=value;}}privatestring_Code;publicstringCode{get{return_Code;}set{_Code=value;}}privateint_Length;publicintLength{get{return_Length;}set{_Length=value;}}publicItem(){}publ