http://www.seanxia.cn/icon.png 2025-10-18T06:40:56.626Z http://www.seanxia.cn/ SeanXia Hexo http://www.seanxia.cn/Java/ed2a42f9.html 2025-10-18T06:31:43.856Z 2025-10-18T06:40:56.626Z

<h1>测试1</h1> <h2 id="测试1">测试1</h2> <h3

http://www.seanxia.cn/%E6%97%A5%E5%B8%B8%E9%97%AE%E9%A2%98/49955695.html 2024-08-21T05:08:06.550Z 2024-08-21T05:08:31.421Z

<p>记录一次工作中SQLServer查询异常的经历。</p> <p>由于直连供应商那边要求使用sqlserver接收数据，故我们又在207安装了SQLServer数据库，我这边正常建表，然后导入数据，刚开始客户类型，厂家等字段使用常用字符串类型varchar，但是导入发现除数字

http://www.seanxia.cn/%E6%97%A5%E5%B8%B8%E9%97%AE%E9%A2%98/f3ddb040.html 2024-07-19T16:00:00.000Z 2024-08-10T07:22:13.465Z

<h1><strong>事情经过</strong></h1> <p>​

http://www.seanxia.cn/%E6%97%A5%E5%B8%B8%E9%97%AE%E9%A2%98/64d019ba.html 2024-07-16T16:00:00.000Z 2024-08-10T07:10:22.803Z

<h1>问题场景</h1> <p>为了<code>FineReport</code>数据决策平台服务器的安全性，前段时间做了定时备份，使用<code>Linux</code>的<code>crontab</code>定时任务每天凌晨将整个<code>FineReport</cod

http://www.seanxia.cn/%E5%85%B6%E4%BB%96/6d60df94.html 2019-08-23T16:00:00.000Z 2024-07-11T15:00:41.472Z

<h3 id="Git、GitHub与GitLab区别">Git、GitHub与GitLab区别</h3> <p>首先我们要知道的是，Git与GitLab不是一个东西，git是一个可以进行版本控制的操作工具，而GitLab则是一个用来托管文件的远程仓库。</p> <p>GitLab与GitHub最大的区别就是可以使用自己的服务器进行托管，相比GitHub来说更安全高效，适合团队内部开发。</p>

http://www.seanxia.cn/%E5%85%B6%E4%BB%96/7fb68dad.html 2019-08-10T16:00:00.000Z 2024-07-15T02:11:23.701Z

<p>前不久，微博图床挂了，这对于众多使用 Markdown 写技术博客的人简直太残忍了！看来，图片迁移真的是刻不容缓了，在我准备迁移图片的时候，发现了几个平台对图片不同的处理方式，觉得很有意思，所以记录一下。</p> <p><strong>本人强烈推荐使用方法五，亲测有效。</strong></p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/31afedf9.html 2019-01-01T16:00:00.000Z 2019-08-10T13:46:34.000Z

<p>Apache Flink是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引擎。Flink设计为运行在所有常见的集群环境中，并且以内存速度和任意规模执行计算。</p> <p>官网：<a href="https://flink.apache.org">https://flink.apache.org</a></p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/1b90121.html 2019-01-01T16:00:00.000Z 2024-07-11T14:48:50.981Z

<p>Apache Flink是一个用于对无边界和有边界数据流进行有状态计算的框架。</p> <p>我们来谈谈 Flink 的编程模型与部署。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/1ca1f555.html 2018-05-21T16:00:00.000Z 2024-07-11T14:40:00.799Z

<p>一种非线性有监督分类模型</p> <p>一种非线性有监督分类模型</p> <p>随机森林是一种非线性有监督的分类模型。随机森林的决策树的升级版，由多个随机数据集的决策树组合而成。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/a4a0dc78.html 2018-05-14T16:00:00.000Z 2024-07-11T14:51:55.618Z

<p>逻辑回归是预测分类响应的常用方法。这是<a href="https://en.wikipedia.org/wiki/Generalized_linear_model">广义线性模型的</a>一个特例，可以预测结果的概率。</p> <p>在<code>spark.ml</code>逻辑回归中，可以使用二项逻辑回归来预测二元结果，或者可以使用多项逻辑回归来预测多类结果。使用该<code>family</code> 参数在这两种算法之间进行选择，或者保持不设置，Spark将推断出正确的变量。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/30277e10.html 2018-05-11T16:00:00.000Z 2024-07-11T14:41:36.825Z

<p>关于机器学习，Spark MLlib中也对相关算法有API的讲解，本章介绍线性回归算法。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/31efd837.html 2018-05-09T16:00:00.000Z 2024-07-11T14:08:00.943Z

<p>Kmeans聚类算法又叫K均值聚类。</p> <p>聚类：给事物打标签，寻找同一组内的个体之间的一些潜在的相似模式。力图找到数据的自然分组 kmeans。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/800c7c16.html 2018-05-05T16:00:00.000Z 2024-07-11T14:09:48.890Z

<p>机器学习算法中，有种依据概率原则进行分类的朴素贝叶斯算法，正如气象学家预测天气一样，朴素贝叶斯算法就是应用先前事件的有关数据来估计未来事件发生的概率。如：70%降水概率。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/91aae295.html 2018-02-19T16:00:00.000Z 2024-07-11T14:52:10.655Z

<p>关于Spark，在实际工作中有很多需要去优化的地方。本篇文章将给出一些需要手动去调整的配置供大家参考。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/2e9b7b1c.html 2018-02-02T16:00:00.000Z 2019-08-10T13:45:52.000Z

<p>SparkStreaming 是流式处理框架，是 Spark API 的扩展，支持可扩展、高吞吐、容错的实时数据流处理。</p> <p>实时数据的来源可以是：Kafka，Flume，Twitter，ZeroMQ 或者 TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map，reduce，join，window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/4b9530c5.html 2018-01-20T16:00:00.000Z 2019-08-10T13:45:44.000Z

<p>Spark SQL 是 Spark 处理数据的一个模块，跟基本的 Spark RDD 的API不同，Spark SQL中提供的接口将会提供给Spark 更多关于结构化数据和计算的信息。其本质是，Spark SQL使用这些额外的信息去执行额外的优化。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/3243dc0c.html 2018-01-15T16:00:00.000Z 2019-08-10T13:45:30.000Z

<p>SparkShuffle在使用时，默认的配置中有些配置可能不适合实际中的业务处理，需要我们手动进行调整优化。这里列举了一些常用的 SparkShuffle 调优策略和建议。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/240bf582.html 2018-01-15T16:00:00.000Z 2024-07-11T14:43:37.500Z

<p>我们知道 Spark 的基本架构是 Master 和 Worker 组成的，Task 的分配和执行又是由 Driver 进程和 Excutor 进程</p> <p>去配合完成的，那关于他们内部是怎么运行的，有哪些对象呢，这里将 做详细阐述。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/9326ece7.html 2018-01-07T16:00:00.000Z 2019-08-10T13:45:46.000Z

<p>关于 Spark 算子的应用案例有很多，这里介绍一些一些不常见但是很有用的算子，以及几个小案例的源码介绍。</p>

http://www.seanxia.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE/de384fb5.html 2017-12-18T16:00:00.000Z 2019-08-10T13:45:42.000Z

<p>关于Spark的任务提交方式，总的分为 Client 提交和 Cluster 提交两种。这里以 Standalone 和 Yarn 为例详细阐述他们在 Spark 中提交任务的流程。</p>