大批量处理excel文件到ODPS中方案 前言

最近所做的项目需要将近五千个excel文件导入到ODPS，并且excel文件内容格式全部不一样。 刚接到需求时特别的懵，不过工作还是要做的，首先通过查询dataworks中文档来看怎么实现该需求，通过文档了解到只支持csv、txt等格式进行单个上传，然后就开始着手做。

【大数据】  【mysql】  【RDS】  【ECS】  【odps】   …

Mysql的使用非常普遍，跟MySQL有关的话题也非常多，如性能优化、高可用性、强一致性、安全、备份、集群、横向扩展、纵向扩展、负载均衡、读写分离等。下面从应用场景的角度切入，对MySQL的技术点进行组织，写一份知识图谱，方便进行更深入的学习和总结。

【python】  【大数据】  【安全】  【java】  【性能优化】  【数据可视化】   …

如何在weka中连接数据库

【云栖社区】  【大数据】  【mysql】  【数据库】  【数据分析】  【string】  【JDBC】  【Driver】  【数据类型】   …

本文主要介绍使用mysqldump命令的逻辑备份

【大数据】  【mysql】  【innodb】  【线程】  【数据库】  【binlog】  【dump】  【myisam】   点击查看原文>

本期请到了阿里云大学讲师，资深架构师徐雷，在线为开发者解决问题，向徐雷提问请点击:https://yq.aliyun.com/promotion/755

【大数据】  【架构】  【java】  【MongoDB】  【mysql】  【高可用】  【数据库】  【spring】   …

随着移动互联网、电子商务的高速发展，被使用最多的企业级开源数据系统MySQL面临着巨大挑战——为迎接“双11"的高并发要提前做好分库分表;用户不断激增要将读写分离才能应对每天上亿次的访问，但读写分离后会导致数据同步延时严重、分布式事务复杂且效率低下、数据库可用性下降、MySQL的3T容量瓶颈等一系列问题都困扰着CTO和架构师们。

【数据存储与数据库】  【大数据】  【安全】  【架构】  【mysql】   …

作者：闲鱼技术-才思 1、业务背景 随着闲鱼业务的发展，用户规模达到数亿级，用户维度的数据指标，达到上百个之多。如何从亿级别的数据中，快速筛选出符合期望的用户人群，进行精细化人群运营，是技术需要解决的问题。

【大数据】  【mysql】  【hbase】  【性能】  【数据库】  【高并发】   …

Mysql大数据中表分区的应用

一、支持Mysql表分区需要MYSQL版本为5.1以上，含5.1~

二、表分区的作用：增加MYSQL的执行效率，可以在以下几点分析表分区是如何增加MYSQL的执行效率的。

【大数据】  【mysql】  【函数】  【表达式】  【分区表】  【Create】  【磁盘】   …

Java开发工程师一般负责后端开发，当然也有专门做Java Web的工程师，但是随着前后端的分离，越来越多的Java工程师需要往大后端方向发展。 今天我们就来介绍一下Java后端开发者的书单。 首先要感谢一下江南白衣大大的后端书架，让我在初学阶段读到了很多好书，直到现在都印象深刻。

【分布式】  【大数据】  【redis】  【Java核心技术】  【架构】   …

在过去两三年的Spring生态圈，最让人兴奋的莫过于Spring Boot框架。或许从命名上就能看出这个框架的设计初衷：快速的启动Spring应用。因而Spring Boot应用本质上就是一个基于Spring框架的应用，它是Spring对“约定优先于配置”理念的最佳实践产物，它能够帮助开发者更快速高效地构建基于Spring生态圈的应用。

【云栖社区】  【python】  【分布式】  【大数据】  【android】   …