2019年3月15日 By mikel 分类: 数据库
http://baa.im/847971

第1章 Sqoop 简介第2章 Sqoop 原理第3章 Sqoop 安装3.1 下载并解压3.2 修改配置文件3.3 拷贝 JDBC 驱动3.4 验证 Sqoop3.5 测试 Sqoop 是否能够成功

来源: 大数据技术之_12_Sqoop学习_Sqoop 简介+Sqoop 原理+Sqoop 安装+Sqoop 的简单使用案例+Sqoop 一些常用命令及参数 – 黑泽君 – 博客园

 


第1章 Sqoop 简介第2章 Sqoop 原理第3章 Sqoop 安装3.1 下载并解压3.2 修改配置文件3.3 拷贝 JDBC 驱动3.4 验证 Sqoop3.5 测试 Sqoop 是否能够成功连接数据库第4章 Sqoop 的简单使用案例4.1 导入数据4.1.1 从 RDBMS 到 HDFS4.1.2 从 RDBMS 到 Hive4.1.3 从 RDBMS 到 HBase4.2 导出数据4.2.1 从 HIVE/HDFS 到 RDBMS4.3 脚本打包第5章 Sqoop 一些常用命令及参数5.1 常用命令列举5.2 命令&参数详解5.2.1 公用参数:数据库连接5.2.2 公用参数:import5.2.3 公用参数:export5.2.4 公用参数:hive5.2.5 命令&参数:import5.2.6 命令&参数:export5.2.7 命令&参数:codegen5.2.8 命令&参数:create-hive-table5.2.9 命令&参数:eval5.2.10 命令&参数:import-all-tables5.2.11 命令&参数:job5.2.12 命令&参数:list-databases5.2.13 命令&参数:list-tables5.2.14 命令&参数:merge5.2.15 命令&参数:metastore


第1章 Sqoop 简介

  Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive) 与传统的数据库 (mySQL,postgreSQL,...) 间进行数据的高校传递,可以将一个关系型数据库(例如:MySQL,Oracle,Postgres等)中的数据导入到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中。
Sqoop 项目开始于 2009 年,最早是作为 Hadoop 的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop 独立成为一个 Apache 顶级项目。
Sqoop2 的最新版本是 1.99.7。请注意,2 与 1 不兼容,且特征不完整,它并不打算用于生产部署。

第2章 Sqoop 原理

  将导入或导出命令翻译成 mapreduce 程序来实现。
在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。

第3章 Sqoop 安装

  安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境。

3.1 下载并解压

1) 下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
2) 上传安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到虚拟机中
3) 解压 sqoop 安装包到指定目录,如:

$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

4) 重命名 sqoop 安装目录,如:

[atguigu@hadoop102 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alphasqoop

3.2 修改配置文件

Sqoop 的配置文件与大多数大数据框架类似,在 sqoop 根目录下的 conf 目录中。
1) 重命名配置文件

$ mv sqoop-env-template.sh sqoop-env.sh

2) 修改配置文件

[atguigu@hadoop102 conf]$ pwd
/opt/module/sqoop/conf
[atguigu@hadoop102 conf]$ vim sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10
export HBASE_HOME=/opt/module/hbase

3.3 拷贝 JDBC 驱动

拷贝 jdbc 驱动到 sqoop 的 lib 目录下,如:

[atguigu@hadoop102 sqoop]$ cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/

3.4 验证 Sqoop

我们可以通过某一个 command 来验证 sqoop 配置是否正确:

[atguigu@hadoop102 sqoop]$ bin/sqoop help

出现一些 Warning 警告(警告信息已省略),并伴随着帮助命令的输出:

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table     Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables     Import tables from a database to HDFS
  import-mainframe    Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases        List available databases on a server
  list-tables           List available tables in a database
  merge              Merge results of incremental imports
  metastore           Run a standalone Sqoop metastore
  version            Display version information

3.5 测试 Sqoop 是否能够成功连接数据库

[atguigu@hadoop102 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456

出现如下输出:

information_schema
metastore
mysql
performance_schema
test

第4章 Sqoop 的简单使用案例

4.1 导入数据

  在 Sqoop 中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用 import 关键字。

4.1.1 从 RDBMS 到 HDFS

1) 确定 Mysql 服务开启正常
查询监控端口或者查询进程来确定,以下两种办法可以确认mysql是否在启动运行状态:
办法一:查询端口

$ netstat -tulpn

MySQL监控的是TCP的3306端口,如下图,说明MySQL服务在运行中。

办法二:查询进程

ps -ef | grep mysqld

可以看见mysql的进程

2) 在 Mysql 中新建一张表并插入一些数据

$ mysql -uroot -p123456
mysql> create database company;
mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
mysql> insert into company.staff(name, sex) values('Thomas''Male');
mysql> insert into company.staff(name, sex) values('Catalina''FeMale');

3) 导入数据
(1)全部导入

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

(2)查询导入

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

等价于

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query "select name,sex from staff where id <=1 and \$CONDITIONS;"

提示:must contain ‘$CONDITIONS’ in WHERE clause.
$CONDITIONS:传递作用。
如果 query 后使用的是双引号,则 $CONDITIONS 前必须加转义符,防止 shell 识别为自己的变量。
(3)导入指定列

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--columns id,sex \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

提示:columns中如果涉及到多列,用逗号分隔,分隔时不要添加空格。
(4)使用 sqoop 关键字筛选查询导入数据

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--where "id=1" \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--columns id,sex \
--where "id=1" \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

4.1.2 从 RDBMS 到 Hive

(1)全部导入

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
--fields-terminated-by "\t" \
--hive-import \
--hive-overwrite \
--hive-table staff_hive

提示:该过程分为两步,第一步将数据导入到 HDFS,第二步将导入到 HDFS 的数据迁移到 Hive 仓库,第一步默认的临时目录是 /user/atguigu/表名。

4.1.3 从 RDBMS 到 HBase

(1)导入数据

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--columns "id,name,sex" \
--num-mappers 1 \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_staff" \
--split-by id

会报错,如下图所示:

原因:sqoop1.4.6 只支持 HBase1.0.1 之前的版本的自动创建 HBase 表的功能。
解决方案:手动创建 HBase 表

hbase> create 'hbase_staff','info'

(5) 在 HBase 中 scan 这张表得到如下内容

hbase> scan ‘hbase_staff’

4.2 导出数据

在Sqoop中,“导出”概念指:从大数据集群(HDFS,HIVE,HBASE)向非大数据集群(RDBMS)中传输数据,叫做:导出,即使用 export 关键字。

4.2.1 从 HIVE/HDFS 到 RDBMS

(1)导出数据

[atguigu@hadoop102 sqoop]$ bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

提示:Mysql 中如果表不存在,不会自动创建。

4.3 脚本打包

使用opt格式的文件打包 sqoop 命令,然后执行。
1) 创建一个 xxx.opt 文件

[atguigu@hadoop102 sqoop]$ pwd
/opt/module/sqoop
[atguigu@hadoop102 sqoop]$ mkdir opt
[atguigu@hadoop102 sqoop]$ touch opt/job_HDFS2RDBMS.opt

2) 编写 sqoop 脚本

[atguigu@hadoop102 sqoop]$ cd opt/
[atguigu@hadoop102 opt]$ vim job_HDFS2RDBMS.opt 

export
--connect
jdbc:mysql://hadoop102:3306/company
--username
root
--password
123456
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"

3) 执行该脚本

[atguigu@hadoop102 sqoop]$ bin/sqoop --options-file opt/job_HDFS2RDBMS.opt

尖叫提示:Mysql 中如果表不存在,不会自动创建,所以我们要先创建表 staff,如果表 staff 存在,我们应该清除掉 staff 表的数据,不然会出现主键冲突!如下图所示:
通过查看日志历史服务器,可知:

第5章 Sqoop 一些常用命令及参数

5.1 常用命令列举

  这里给大家列出来了一部分 Sqoop 操作时的常用参数,以供参考,需要深入学习的可以参看对应类的源代码。

如下表所示:

序号命令说明
1importImportTool将数据导入到集群
2exportExportTool将集群数据导出
3codegenCodeGenTool获取数据库中某张表数据生成 Java 并打包 Jar
4create-hive-tableCreateHiveTableTool创建 Hive 表
5evalEvalSqlTool查看 SQL 执行结果
6import-all-tablesImportAllTablesTool导入某个数据库下所有表到 HDFS 中
7jobJobTool用来生成一个 sqoop 的任务,生成后,该任务并不执行,除非使用命令执行该任务。
8list-databasesListDatabasesTool列出所有数据库名
9list-tablesListTablesTool列出某个数据库下所有表
10mergeMergeTool将 HDFS 中不同目录下面的数据合并在一起,并存放在指定的目录中
11metastoreMetastoreTool记录 sqoop job 的元数据信息,如果不启动 metastore 实例,则默认的元数据存储目录为:~/.sqoop,如果要更改存储目录,可以在配置文件 sqoop-site.xml 中进行更改。
12helpHelpTool打印 sqoop 帮助信息
13versionVersionTool打印 sqoop 版本信息

5.2 命令&参数详解

  刚才列举了一些 Sqoop 的常用命令,对于不同的命令,有不同的参数,让我们来一一列举说明。
首先来我们来介绍一下公用的参数,所谓公用参数,就是大多数命令都支持的参数。

5.2.1 公用参数:数据库连接

序号参数说明
1–connect连接关系型数据库的URL
2–connection-manager指定要使用的连接管理类
3–driverHadoop 根目录
4–help打印帮助信息
5–password连接数据库的密码
6–username连接数据库的用户名
7–verbose在控制台打印出详细信息

5.2.2 公用参数:import

序号参数说明
1–enclosed-by < char>给字段值前加上指定的字符
2–escaped-by < char>对字段中的双引号加转义符
3–fields-terminated-by < char>设定每个字段是以什么符号作为结束,默认为逗号
4–lines-terminated-by < char>设定每行记录之间的分隔符,默认是 \n
5–mysql-delimitersMysql默认的分隔符设置,字段之间以逗号分隔,行之间以 \n分隔,默认转义符是 \,字段值以单引号包裹
6–optionally-enclosed-by < char>给带有双引号或单引号的字段值前后加上指定字符

5.2.3 公用参数:export

序号参数说明
1–input-enclosed-by < char>对字段值前后加上指定字符
2–input-escaped-by < char>对含有转移符的字段做转义处理
3–input-fields-terminated-by < char>字段之间的分隔符
4–input-lines-terminated-by < char>行之间的分隔符
5–input-optionally-enclosed-by < char>给带有双引号或单引号的字段前后加上指定字符

5.2.4 公用参数:hive

序号参数说明
1–hive-delims-replacement < arg>用自定义的字符串替换掉数据中的 \r\n 和 \013 \010 等字符
2–hive-drop-import-delims在导入数据到 hive 时,去掉数据中的 \r\n \013 \010这样的字符
3–map-column-hive < arg>生成 hive 表时,可以更改生成字段的数据类型
4–hive-partition-key创建分区,后面直接跟分区名,分区字段的默认类型为 string
5–hive-partition-value < v>导入数据时,指定某个分区的值
6–hive-home < dir>hive 的安装目录,可以通过该参数覆盖之前默认配置的目录
7–hive-import将数据从关系数据库中导入到 hive 表中
8–hive-overwrite覆盖掉在 hive 表中已经存在的数据
9–create-hive-table默认是 false,即,如果目标表已经存在了,那么创建任务失败。
10–hive-table后面接要创建的 hive 表,默认使用 MySQL 的表名
11–table指定关系数据库的表名

公用参数介绍完之后,我们来按照命令介绍命令对应的特有参数。

5.2.5 命令&参数:import

将关系型数据库中的数据导入到 HDFS(包括Hive,HBase)中,如果导入的是 Hive,那么当 Hive 中没有对应表时,则自动创建。
1) 命令:
如:导入数据到 hive 中

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--hive-import

如:增量导入数据到 hive 中,mode=append

append导入:

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
--fields-terminated-by "\t" \
--target-dir /user/hive/warehouse/staff_hive \
--check-column id \
--incremental append \
--last-value 3

尖叫提示:append 不能与 –hive 等参数同时使用(Append mode for hive imports is not yet supported. Please remove the parameter –append-mode)

如:增量导入数据到 hdfs 中,mode=lastmodified

先在mysql中建表并插入几条数据:
mysql> create table company.staff_timestamp(id int(4), name varchar(255), sex varchar(255), last_modified timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP);
mysql> insert into company.staff_timestamp (id, name, sex) values(1'AAA''female');
mysql> insert into company.staff_timestamp (id, name, sex) values(2'BBB''female');

先导入一部分数据:
$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff_timestamp \
--delete-target-dir \
--m 1

再增量导入一部分数据:
mysql> insert into company.staff_timestamp (id, name, sex) values(3'CCC''female');

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff_timestamp \
--check-column last_modified \
--incremental lastmodified \
--last-value "2017-09-28 22:20:38" \
--m 1 \
--append

尖叫提示:使用 lastmodified 方式导入数据,要指定增量数据是要 --append(追加)还是要 --merge-key(合并)
尖叫提示:last-value 指定的值是会包含于增量导入的数据中。

2) 参数:

序号参数说明
1–append将数据追加到 HDFS 中已经存在的 DataSet 中,如果使用该参数,sqoop 会把数据先导入到临时文件目录,再合并。
2–as-avrodatafile将数据导入到一个 Avro 数据文件中
3–as-sequencefile将数据导入到一个 sequence 文件中
4–as-textfile将数据导入到一个普通文本文件中
5–boundary-query < statement>边界查询,导入的数据为该参数的值(一条sql语句)所执行的结果区间内的数据。
6–columns < col1, col2, col3>指定要导入的字段
7–direct直接导入模式,使用的是关系数据库自带的导入导出工具,以便加快导入导出过程。
8–direct-split-size在使用上面direct直接导入的基础上,对导入的流按字节分块,即达到该阈值就产生一个新的文件
9–inline-lob-limit设定大对象数据类型的最大值
10–m或–num-mappers启动N个 map 来并行导入数据,默认4个。
11–query或–e < statement>将查询结果的数据导入,使用时必须伴随参–target-dir,–hive-table,如果查询中有 where 条件,则条件后必须加上 $CONDITIONS 关键字
12–split-by < column-name>按照某一列来切分表的工作单元,不能与–autoreset-to-one-mapper连用(请参考官方文档)
13–table < table-name>关系数据库的表名
14–target-dir < dir>指定 HDFS 路径
15–warehouse-dir < dir>与14参数不能同时使用,导入数据到 HDFS 时指定的目录
16–where从关系数据库导入数据时的查询条件
17–z或–compress允许压缩
18–compression-codec指定 hadoop 压缩编码类,默认为 gzip(Use Hadoop codec default gzip)
19–null-string < null-string>string 类型的列如果 null,替换为指定字符串
20–null-non-string < null-string>非 string 类型的列如果 null,替换为指定字符串
21–check-column < col>作为增量导入判断的列名
22–incremental < mode>mode:append 或 lastmodified
23–last-value < value>指定某一个值,用于标记增量导入的位置

5.2.6 命令&参数:export

从 HDFS(包括Hive和HBase)中奖数据导出到关系型数据库中。
1) 命令:
如:

$ bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--export-dir /user/staff \
--input-fields-terminated-by "\t" \
--num-mappers 1

2) 参数:

序号参数说明
1–direct利用数据库自带的导入导出工具,以便于提高效率
2–export-dir < dir>存放数据的HDFS的源目录
3-m或–num-mappers < n>启动N个map来并行导入数据,默认4个
4–table < table-name>指定导出到哪个RDBMS中的表
5–update-key < col-name>对某一列的字段进行更新操作
6–update-mode < mode>updateonly,allowinsert(默认)
7–input-null-string < null-string>请参考import该类似参数说明
8–input-null-non-string < null-string>请参考import该类似参数说明
9–staging-table < staging-table-name>创建一张临时表,用于存放所有事务的结果,然后将所有事务结果一次性导入到目标表中,防止错误
10–clear-staging-table如果第9个参数非空,则可以在导出操作执行前,清空临时事务结果表

5.2.7 命令&参数:codegen

将关系型数据库中的表映射为一个 Java 类,在该类中有各列对应的各个字段。
1) 命令:
如:

$ bin/sqoop codegen \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--bindir /home/admin/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"

2) 参数:

序号参数说明
1–bindir < dir>指定生成的 Java 文件、编译成的 class 文件及将生成文件打包为 jar 的文件输出路径
2–class-name < name>设定生成的 Java 文件指定的名称
3–outdir < dir>生成 Java 文件存放的路径
4–package-name < name>包名,如 com.z,就会生成 com 和 z 两级目录
5–input-null-non-string < null-str>在生成的 Java 文件中,可以将 null 字符串或者不存在的字符串设置为想要设定的值(例如空字符串)
6–input-null-string < null-str>将null字符串替换成想要替换的值(一般与5同时使用)
7–map-column-java < arg>数据库字段在生成的 Java 文件中会映射成各种属性,且默认的数据类型与数据库类型保持对应关系。该参数可以改变默认类型,例如:–map-column-java id=long, name=String
8–null-non-string < null-str>在生成 Java 文件时,可以将不存在或者 null 的字符串设置为其他值
9–null-string < null-str>在生成 Java 文件时,将 null 字符串设置为其他值(一般与8同时使用)
10–table < table-name>对应关系数据库中的表名,生成的 Java 文件中的各个属性与该表的各个字段一一对应

5.2.8 命令&参数:create-hive-table

生成与关系数据库表结构对应的 hive 表结构。
1) 命令:
如:

$ bin/sqoop create-hive-table \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--hive-table hive_staff

2) 参数:

序号参数说明
1–hive-home < dir>Hive 的安装目录,可以通过该参数覆盖掉默认的 Hive 目录
2–hive-overwrite覆盖掉在 Hive 表中已经存在的数据
3–create-hive-table默认是 false,如果目标表已经存在了,那么创建任务会失败
4–hive-table后面接要创建的 hive 表
5–table指定关系数据库的表名

5.2.9 命令&参数:eval

可以快速的使用 SQL 语句对关系型数据库进行操作,经常用于在 import 数据之前,了解一下 SQL 语句是否正确,数据是否正常,并可以将结果显示在控制台。
1) 命令:
如:

$ bin/sqoop eval \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--query "SELECT * FROM staff"

2) 参数:

序号参数说明
1–query 或 –e后跟查询的 SQL 语句

5.2.10 命令&参数:import-all-tables

可以将 RDBMS 中的所有表导入到 HDFS 中,每一个表都对应一个 HDFS 目录。
1) 命令:
如:

$ bin/sqoop import-all-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--warehouse-dir /all_tables

2) 参数:

序号参数说明
1–as-avrodatafile这些参数的含义均和import对应的含义一致
2–as-sequencefile同上
3–as-textfile同上
4–direct同上
5–direct-split-size < n>同上
6–inline-lob-limit < n>同上
7–m或—num-mappers < n>同上
8–warehouse-dir < dir>同上
9-z或–compress同上
10–compression-codec同上

5.2.11 命令&参数:job

用来生成一个 sqoop 任务,生成后不会立即执行,需要手动执行。
1) 命令:
如:

$ bin/sqoop job \
--create myjob -- import-all-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456
$ bin/sqoop job \
--list
$ bin/sqoop job \
--exec myjob

尖叫提示:注意import-all-tables 和它左边的–之间有一个空格。
尖叫提示:如果需要连接 metastore,则 –meta-connect jdbc:hsqldb:hsql://hadoop102:16000/sqoop

2) 参数:

序号参数说明
1–create < job-id>创建 job 参数
2–delete < job-id>删除一个 job
3–exec < job-id>执行一个 job
4–help显示 job 帮助
5–list显示 job 列表
6–meta-connect < jdbc-uri>用来连接 metastore 服务
7–show < job-id>显示一个 job 的信息
8–verbose打印命令运行时的详细信息

尖叫提示:在执行一个 job 时,如果需要手动输入数据库密码,可以做如下优化:

<property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.</description>
</property>

5.2.12 命令&参数:list-databases

1) 命令:
如:

$ bin/sqoop list-databases \
--connect jdbc:mysql://hadoop102:3306/ \
--username root \
--password 123456

2) 参数:
与公用参数一样

5.2.13 命令&参数:list-tables

1) 命令:
如:

$ bin/sqoop list-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456

2) 参数:
与公用参数一样

5.2.14 命令&参数:merge

将 HDFS 中不同目录下面的数据合并在一起并放入指定目录中。
数据环境:

new_staff
1   AAA male
2   BBB male
3   CCC male
4   DDD male

old_staff
1   AAA female
2   CCC female
3   BBB female
6   DDD female

尖叫提示:上边数据的列之间的分隔符应该为\t,行与行之间的分割符为\n,如果直接复制,请检查之。

1) 命令:
如:

创建JavaBean:
$ bin/sqoop codegen \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--bindir /home/admin/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"

开始合并:
$ bin/sqoop merge \
--new-data /test/new/ \
--onto /test/old/ \
--target-dir /test/merged \
--jar-file /home/admin/Desktop/staff/Staff.jar \
--class-name Staff \
--merge-key id

结果:
1   AAA    MALE
2   BBB    MALE
3   CCC    MALE
4   DDD    MALE
6   DDD    FEMALE

2) 参数:

序号参数说明
1–new-data < path>HDFS 待合并的数据目录,合并后在新的数据集中保留
2–onto < path>HDFS 合并后,重复的部分在新的数据集中被覆盖
3–merge-key < col>合并键,一般是主键 ID
4–jar-file < file>合并时引入的j ar 包,该 jar 包是通过 Codegen 工具生成的jar包
5–class-name < class>对应的表名或对象名,该 class 类是包含在 jar 包中的
6–target-dir < path>合并后的数据在 HDFS 里存放的目录

5.2.15 命令&参数:metastore

记录了 Sqoop job 的元数据信息,如果不启动该服务,那么默认 job 元数据的存储目录为 ~/.sqoop,可在 sqoop-site.xml 中修改。
1) 命令:
如:启动 sqoop 的 metastore 服务

$ bin/sqoop metastore

2) 参数:

序号参数说明
1–shutdown关闭 metastore
我的GitHub地址:https://github.com/heizemingjun
我的博客园地址:https://www.cnblogs.com/chenmingjun
我的蚂蚁笔记博客地址:https://blog.leanote.com/chenmingjun
Copyright ©2018-2019 黑泽明军
【转载文章务必保留出处和署名,谢谢!】
大数据技术之_12_Sqoop学习_Sqoop 简介+Sqoop 原理+Sqoop 安装+Sqoop 的简单使用案例+Sqoop 一些常用命令及参数 – 黑泽君 – 博客园已关闭评论
2019年3月14日 By mikel 分类: 数据库
http://baa.im/847971

来源: 在sqlserver中使用事务的注意事项 – 清风徐来,水波不兴 – CSDN博客

这两天在项目开发中遇到一些业务逻辑需要进行大量的计算和数据的一致性,因此使用到SQL事务和try catch。在项目需求中,多个业务逻辑单元分别写在对应的存储过程中,并进行事务控制,同时需要一个总调用的存储过程pro_contry,这个总调用de 存储过程pro_contry通过事务封装上面的所有业务逻辑单元存储过程,当其中任何一个存储过程出现错误时,全部回滚。pro_contry调用过程中发现同时有事务嵌套,又有try catch嵌套。在测试的过程中发现各种离奇的错误现记录如下,

第一个错误:

错误描述:错误号:      3930, 错误严重级别:        16, 错位状态:         1, 错误存储过程和触发器名称:PRO_A_LogicUnit, 错误行号:       150, 错误实际信息:当前事务无法提交,而且无法支持写入日志文件的操作。请回滚该事务。

错误原因:由于pro_contry 和PRO_A_LogicUnit 中同时使用了try catch捕获错误。

解决方法:将子存储过程PRO_A_LogicUnit的try catch取消,将错误由上一级抛出处理

 

第二个错误

SAVE tran @tranName
EXEC Pro_Score_CountEverySubjectStandardRate 130
错误描述:当前事务无法提交,而且无法回滚到保存点。请回滚整个事务。

错误原因:由于在pro_contry和PRO_A_LogicUnit同时有事务处理,当PRO_A_LogicUnit中出现错误回滚 进行rollback,事务保存点设置错误导致。

解决方法:应该先判断是否已经存在事务,若已经存在则设置事务保存点,不存在创建事务处理

DECLARE @tranCounter INT

DECLARE @tranName VARCHAR(20)

SET @tranCounter = @@TRANCOUNT

SET @tranName = ‘tran’

IF @tranCounter = 0

BEGIN

BEGIN TRAN @tranName

END

ELSE

BEGIN

SAVE TRAN @tranName

END
第三个错误
在内部嵌套事务 ROLLBACK tran

错误描述: 错误号:       266, 错误严重级别:        16, 错位状态:         2, 错误存储过程和触发器名称:PRO_A_LogicUnit, 错误行号:         0, 错误实际信息:EXECUTE 后的事务计数指示 BEGIN 和 COMMIT 语句的数目不匹配。上一计数 = 1,当前计数 = 0。

错误原因:在事务中begin tran 后@@tranCount 会加1,当commit tran 后会减1,而rollback tran后 @@tranCount = 0,因此在事务嵌套中必须保存begin tran几次对应的commit tran 也几次

第三个错误
错误描述:

嵌套事务中指定 ROLLBACK tran @tranName

错误号:      6401, 错误严重级别:        16, 错位状态:         1, 错误存储过程和触发器名称:Pro_Score_CountEverySubjectStandardRate, 错误行号:       148, 错误实际信息:无法回滚 countEverySubjectStandardRate。找不到该名称的事务或保存点。

不要使用嵌套事务
不能过分使用嵌套事务,非常麻烦

当SET XACT_ABORT ON 后try catch 中遇到程序错误时catch 会事务回滚

使用save tran 替代嵌套tran

DECLARE @TranCounter INT;
SET @TranCounter = @@TRANCOUNT;

–当只有一个事务的时候进行回滚,否则嵌套事务由外面的rollback进行回滚

http://hi.baidu.com/duobaiduodu/item/79375ed7b0d60ac71a72b4f6

http://msdn.microsoft.com/zh-cn/library/ms189797.aspx

http://msdn.microsoft.com/zh-cn/library/ms175976.aspx

http://msdn.microsoft.com/zh-cn/library/ms179296%28v=SQL.100%29.aspx

http://wenku.baidu.com/view/8d1d3ded6294dd88d0d26bd0.html

http://msdn.microsoft.com/en-us/library/ms179296%28v=SQL.105%29.aspx

http://blog.csdn.net/wufeng4552/article/details/6317515

http://blog.sina.com.cn/s/blog_496cf0e70100i0em.html

http://blog.csdn.net/xmzhaoym/article/details/5120372

http://www.cnblogs.com/yangpei/archive/2010/10/07/1894408.html

在sqlserver中使用事务的注意事项 – 清风徐来,水波不兴 – CSDN博客已关闭评论
2019年3月14日 By mikel 分类: 数据库
http://baa.im/847971

来源: sqlserver中的循环遍历(普通循环和游标循环) – 小小邪 – 博客园

SQL 经常用到循环,下面介绍一下普通循环和游标循环

1、首先需要一个测试表数据Student

2、普通循环

1)循环5次来修改学生表信息

–循环遍历修改记录–
declare @i int
set @i=0
while @i<5
begin
update Student set demo = @i+5 where Uid=@i
set @i=@i +1
end
–查看结果–
select * from Student

2)执行后的查询结果

3、游标循环(没有事务)

1)根据学生表实际数据循环修改信息
—游标循环遍历–
begin
declare @a int,@error int
declare @temp varchar(50)
set @a=1
set @error=0
–申明游标为Uid
declare order_cursor cursor
for (select [Uid] from Student)
–打开游标–
open order_cursor
–开始循环游标变量–
fetch next from order_cursor into @temp
while @@FETCH_STATUS = 0    –返回被 FETCH语句执行的最后游标的状态–
begin
update Student set Age=15+@a,demo=@a where Uid=@temp
set @a=@a+1
set @error= @error + @@ERROR   –记录每次运行SQL后是否正确,0正确
fetch next from order_cursor into @temp   –转到下一个游标,没有会死循环
end
close order_cursor  –关闭游标
deallocate order_cursor   –释放游标
end
go
–查看结果–
select * from Student

2)执行后的查询结果

4、游标循环(事务)

1)根据实际循环学生表信息

—游标循环遍历–
begin
declare @a int,@error int
declare @temp varchar(50)
set @a=1
set @error=0
begin tran  –申明事务
–申明游标为Uid
declare order_cursor cursor
for (select [Uid] from Student)
–打开游标–
open order_cursor
–开始循环游标变量–
fetch next from order_cursor into @temp
while @@FETCH_STATUS = 0    –返回被 FETCH语句执行的最后游标的状态–
begin
update Student set Age=20+@a,demo=@a where Uid=@temp
set @a=@a+1
set @error= @error + @@ERROR   –记录每次运行sql后是否正确,0正确
fetch next from order_cursor into @temp   –转到下一个游标
end
if @error=0
begin
commit tran   –提交事务
end
else
begin
rollback tran –回滚事务
end
close order_cursor  –关闭游标
deallocate order_cursor   –释放游标
end
go
–查看结果–
select * from Student

2)执行后的查询结果:

平时多记记,到用时才能看看,记录你的进步,分享你的成果
sqlserver中的循环遍历(普通循环和游标循环) – 小小邪 – 博客园已关闭评论
2019年3月10日 By mikel 分类: 数据库
http://baa.im/847971

来源: Sql Server 事务/回滚 – 你啵哥哥哥哥 – 博客园

Sql Server 事务/回滚

复制代码
复制代码

set XACT_ABORT ON   —如果不设置该项为ON,在SQL中默认为OFF,那么只只回滚产生错误的 Transact-SQL 语句;设为ON,回滚整个事务

begin tran t1 —启动一个事务

update [water].[dbo].[ErrorInf]
set ErrorMessage=’test’
where ID=6

insert into [water].[dbo].[ErrorInf]([ID],ErrorMessage,[Description])
Values(1,’test1′,’test1′)

commit tran t1  —提交事务

复制代码
复制代码

功能:实现begin tran 和commit tran之间的语句,任一如果出现错误,所有都不执

 

事务不是有错就回滚的,在不写rollback的情况下,并不是什么错误都会回滚事务,有时回滚当前语句,有时回滚整个事务

如例

begin tran
insert into dbo.area values(‘1111’)
insert into dbo.area values(‘2222’)
select 1/0
insert into dbo.area values(‘333’)
commit

 

像这样,就算中间有错,也不会回滚,结果会成功添加三条记录

但有人说,比如重大错误,这事务也会所有回滚,只是我无法重现重大错误罢了

普通错误如果想回滚整个事务,只要加个set XACT_ABORT on就可以了

复制代码
复制代码

set XACT_ABORT on

begin tran

insert into dbo.area values(‘1111’)
insert into dbo.area values(‘2222’)
select 1/0
insert into dbo.area values(‘333’)

commit

复制代码
复制代码

 

 

但也有人写一堆@@error,如

复制代码
复制代码

begin tran

insert into dbo.area values(‘1111’)
if @@error>0
rollback

insert into dbo.area values(‘2222’)
if @@error>0
rollback

select 1/0
if @@error>0
rollback

insert into dbo.area values(‘333’)
if @@error>0
rollback

commit

复制代码
复制代码

 

当然也行,不过写起来太麻烦了.

后来发现SQL2005支持try

复制代码
复制代码

BEGIN TRY
BEGIN TRANSACTION
insert into dbo.area values(‘1111’)
insert into dbo.area values(‘2222’)
select 1/0
insert into dbo.area values(‘333’)
COMMIT
END TRY
BEGIN CATCH
IF @@TRANCOUNT > 0
ROLLBACK

DECLARE @ErrMsg nvarchar(4000), @ErrSeverity int
SELECT @ErrMsg = ERROR_MESSAGE(),
@ErrSeverity = ERROR_SEVERITY()

RAISERROR(@ErrMsg, @ErrSeverity, 1)
END CATCH

Sql Server 事务/回滚 – 你啵哥哥哥哥 – 博客园已关闭评论
2019年3月6日 By mikel 分类: 数据库
http://baa.im/847971

来源: 碰到嵌套事务-笔记 – YoungPay – 博客园

相关SQL语句:

BEGIN TRAN

SAVE TRAN

COMMIT TRAN

ROLLBACK TRAN

嵌套事务示例:

BEGIN TRAN Tran1

BEGIN TRAN Tran2

COMMIT TRAN 可以单独指定某个事务名,如Tran1,Tran2进行提交。其实也没什么效果,即使Tran2提交成功了,只要将外层事务Tran1回滚,Tran2保存的数据照样被回滚!
ROLLBACK TRAN 不能指定某个事务名进行回滚!只能ROLLBACK TRAN 或者 ROLLBACK TRAN Tran1,也就说只能回滚最外层的事务名。如果执行ROLLBACK TRAN Tran2,SQL会提示“无法回滚 Tran2。找不到该名称的事务或保存点”,出错的原因就是因为Tran2不是最外层事务。总结一句话:ROLLBACK 要么就所有事务都回滚,要么就回滚时异常,一个事务都没回滚!
ROLLBACK 可以回滚某个事务保存点(SAVE TRAN TranSave1), 如ROLLBACK TRAN TranSave1,但是要明白的是,回滚事务保存点并不会使事务数@TranCount减少,你嵌套了几个事务,它还是有几个事务数.
特别注意,如果在父存储过程创建一个事务Tran1,然后在子存储过程执行ROLLBACK TRAN后,子存储过程会抛出异常!事务只能在同一个存储过程里面创建、回滚和提交,不允许分离在不同的存储过程里面。
基于以上特点,我个人觉得嵌套事务的作用不大,SQL的内部处理其实最终就是处理一个最外层的事务点。SQL抛出事务相关的异常,并不是代码有何问题,而是在提醒我们注意事务的控制。 我们只要采用TRY CATCH 方式捕获相关异常就可以,我们只要确保设计的事务点能正常回滚或提交就OK了。

解决方法1:

TRY CATCH 捕获相关异常

解决方法2:

如果外部已经有事务了,就不再创建内部事务。我想SQL的事务异常提醒就是为了告诉你,不能随便一个地方放事务。

IF @TRANCOUNT =0

BEGIN TRAN

 

TRY CATCH 注意事项:

SQL语句不加try catch,即使出现异常,后续的SQL语句也会执行。但是一旦外部加了try catch,则会捕获异常,导致后续的SQL语句没有执行。
是否SQL的异常有分致命和普遍的,在没加try catch的情况下,普通的可以继续往下走,但是致命的就不往下走了。这个和C#编程语言有重大的不同,编程语言一旦出现异常,后续代码就不再执行!
在处理嵌套事务时,要特别注意,不论如何要确保事务被完整的关闭或被回滚!

回滚比较好控制。无论有多少级事务数,只要ROLLBACK 一次就可以。不过如果是ROLLBACK TRAN TRANNAME,TranName不是第一级的话,则会出现异常,等于没有执行ROLLBACK操作。
提交就要特别注意了。BEGIN TRAN 创建事务3个,则必须COMMIT TRAN 提交事务3次,才能确保事务数被完整提交。可以通过@@TRANCOUNT来查看当前事务数。一旦存储过程没有完整提交事务,则可能出现事务锁表的情况!如果创建事务的进程销毁了,即使有未提交的事务,应该也销毁,算回滚了吧?

碰到嵌套事务-笔记 – YoungPay – 博客园已关闭评论
2019年3月5日 By mikel 分类: 开发笔记
http://baa.im/847971

来源: SQL Server 中 RAISERROR 的用法 – 钢钢 – 博客园

raiserror  是由单词 raise error 组成
raise  增加; 提高; 提升
raiserror 的作用: raiserror 是用于抛出一个错误。[ 以下资料来源于SQL server 2005的帮助 ]

其语法如下:

复制代码
RAISERROR ( { msg_id | msg_str | @local_variable }
{ ,severity ,state }
[ ,argument [ ,…n ] ]
)
[ WITH option [ ,…n ] ]
复制代码

简要说明一下:

第一个参数:{ msg_id | msg_str | @local_variable }
msg_id:表示可以是一个sys.messages表中定义的消息代号;
使用 sp_addmessage 存储在 sys.messages 目录视图中的用户定义错误消息号。
用户定义错误消息的错误号应当大于 50000。

msg_str:表示也可以是一个用户定义消息,该错误消息最长可以有 2047 个字符;
(如果是常量,请使用N’xxxx’,因为是nvarchar的)
当指定 msg_str 时,RAISERROR 将引发一个错误号为 5000 的错误消息。

@local_variable:表示也可以是按照 msg_str 方式的格式化字符串变量。

第二个参数:severity
用户定义的与该消息关联的严重级别。(这个很重要)
任何用户都可以指定 0 到 18 之间的严重级别。
[0,10]的闭区间内,不会跳到catch;
如果是[11,19],则跳到catch;
如果[20,无穷),则直接终止数据库连接;

第三个参数:state
如果在多个位置引发相同的用户定义错误,
则针对每个位置使用唯一的状态号有助于找到引发错误的代码段。

介于 1 至 127 之间的任意整数。(state 默认值为1)
当state 值为 0 或大于 127 时会生成错误!

第四个参数:argument
用于代替 msg_str 或对应于 msg_id 的消息中的定义的变量的参数。

第五个参数:option
错误的自定义选项,可以是下表中的任一值:
LOG :在错误日志和应用程序日志中记录错误;
NOWAIT:将消息立即发送给客户端;
SETERROR:将 @@ERROR 值和 ERROR_NUMBER 值设置为 msg_id 或 50000;

[SQL]代码示例
–示例1
DECLARE @raiseErrorCode nvarchar(50)
SET @raiseErrorCode = CONVERT(nvarchar(50), YOUR UNIQUEIDENTIFIER KEY)
RAISERROR(‘%s INVALID ID. There is no record in table’,16,1, @raiseErrorCode)

 

–示例2
复制代码
RAISERROR (
N’This is message %s %d.’, — Message text,
10,                        — Severity,
1,                         — State,
N’number’,                 — First argument.
5                          — Second argument.
);
— The message text returned is: This is message number 5.
GO
复制代码
–示例3
复制代码
RAISERROR (N'<<%*.*s>>’, — Message text.
10,           — Severity,
1,            — State,
7,            — First argument used for width.
3,            — Second argument used for precision.
N’abcde’);    — Third argument supplies the string.
— The message text returned is: <<    abc>>.
GO
复制代码
–示例4
复制代码
RAISERROR (N'<<%7.3s>>’, — Message text.
10,           — Severity,
1,            — State,
N’abcde’);    — First argument supplies the string.
— The message text returned is: <<    abc>>.
GO
复制代码
–示例5

–A. 从 CATCH 块返回错误消息
以下代码示例显示如何在 TRY 块中使用 RAISERROR 使执行跳至关联的 CATCH 块中。
它还显示如何使用 RAISERROR 返回有关调用 CATCH 块的错误的信息。

复制代码
BEGIN TRY
RAISERROR (‘Error raised in TRY block.’, — Message text.
16, — Severity.
1 — State.
);
END TRY
BEGIN CATCH
DECLARE @ErrorMessage NVARCHAR(4000);
DECLARE @ErrorSeverity INT;
DECLARE @ErrorState INT;

SELECT
@ErrorMessage = ERROR_MESSAGE(),
@ErrorSeverity = ERROR_SEVERITY(),
@ErrorState = ERROR_STATE();

RAISERROR (@ErrorMessage,  — Message text.
@ErrorSeverity, — Severity.
@ErrorState     — State.
);
END CATCH;

复制代码
–示例6

–B. 在 sys.messages 中创建即席消息
以下示例显示如何引发 sys.messages 目录视图中存储的消息。
该消息通过 sp_addmessage 系统存储过程,以消息号50005添加到 sys.messages 目录视图中。

复制代码
sp_addmessage @msgnum = 50005,
@severity = 10,
@msgtext = N'<<%7.3s>>’;
GO

RAISERROR (50005, — Message id.
10,    — Severity,
1,     — State,
N’abcde’); — First argument supplies the string.
— The message text returned is: <<    abc>>.
GO

sp_dropmessage @msgnum = 50005;
GO

复制代码
–示例7
–C. 使用局部变量提供消息文本
以下代码示例显示如何使用局部变量为 RAISERROR 语句提供消息文本。
复制代码
sp_addmessage @msgnum = 50005,
@severity = 10,
@msgtext = N'<<%7.3s>>’;
GO

RAISERROR (50005, — Message id.
10,    — Severity,
1,     — State,
N’abcde’); — First argument supplies the string.
— The message text returned is: <<    abc>>.
GO

sp_dropmessage @msgnum = 50005;
GO

复制代码

参考来源:

http://msdn.microsoft.com/zh-cn/library/ms178592.aspx

ms-help://MS.SQLCC.v9/MS.SQLSVR.v9.zh-CHS/tsqlref9/html/483588bd-021b-4eae-b4ee-216268003e79.htm

SQL Server 中 RAISERROR 的用法 – 钢钢 – 博客园已关闭评论
2019年3月5日 By mikel 分类: 数据库
http://baa.im/847971

来源: SqlServer2008中事务使用的一些细节 – Hello World – CSDN博客

测试存储过程代码时候碰到了一个事务的细节问题,是在使用if else语句时候,报错begin tran和commit tran不配对,以前使用时候并没怎么留意这些小细节,所以出现了一些想当然的错误

存储过程如下:

Alter PROCEDURE [dbo].[proc_test]
@id int,
@result INT=-1 OUTPUT,
@msg AS varchar(50) OUTPUT
AS
BEGIN
BEGIN TRAN
BEGIN TRY
DECLARE @num INT=0
SELECT @num=num from temp_num where id=@id
IF (@num=0)
BEGIN
insert into temp_num values(floor(rand()*200)-100);–插入-100到100的随机数
SET @msg=’处理成功’
SET @result=1
END
ELSE
BEGIN
SET @msg=’处理失败’
SET @result=0
RAISERROR(@msg,16,1)
END
COMMIT TRAN
END TRY
BEGIN CATCH
SET @msg=ERROR_MESSAGE()
SET @result=0
ROLLBACK TRAN
END CATCH

RETURN @result
END

现在因为业务需求,增加了一个else if分支,调整后如下:
Alter PROCEDURE [dbo].[proc_test]
@id int,
@result INT=-1 OUTPUT,
@msg AS varchar(50) OUTPUT
AS
BEGIN
BEGIN TRAN
BEGIN TRY
DECLARE @num INT=0
SELECT @num=num from temp_num where id=@id
IF (@num=0)
BEGIN
insert into temp_num values(floor(rand()*200)-100);–插入-100到100的随机数
SET @msg=’处理成功’
SET @result=1
END
ELSE IF(@num<0)
BEGIN
update temp_num set num=-1*num where id=@id;–将负数变正
ROLLBACK TRAN
END
ELSE
BEGIN
SET @msg=’处理失败’
SET @result=0
RAISERROR(@msg,16,1)
END
COMMIT TRAN
END TRY
BEGIN CATCH
SET @msg=ERROR_MESSAGE()
SET @result=0
ROLLBACK TRAN
END CATCH

RETURN @result
END
那么问题来了,该存储过程执行到新增的else if分支就直接报错了“ROLLBACK TRANSACTION 请求没有对应的 BEGIN TRANSACTION。”

ELSE IF(@num<0)
BEGIN
update temp_num set num=-1*num where id=@id;–将负数变正
ROLLBACK TRAN
END
C#代码时候

public int TestMethod()

{

if(a>0)

{

a=a+1;

}

else if(a<0)

{

return 0;

}

else

{

a=a-1;

}

return 1;

}

C#中这么写,没毛病,编译器也不会报错,但是想当然的把begin tran、commit tran/rollback tran当成return这样的用就有问题了,SQLServer语法检查通不过!

begin tran 和 commit tran、rollback tran的配对,在碰到if else时候,如果你在分支里写了commit tran、rollback tran,那么每个分支都需要提交或者回滚,不能部分写分支里,部分写if else语句结束之后

所以调整后的存储过程

Alter PROCEDURE [dbo].[proc_test]
@id int,
@result INT=-1 OUTPUT,
@msg AS varchar(50) OUTPUT
AS
BEGIN
BEGIN TRAN
BEGIN TRY
DECLARE @num INT=0
SELECT @num=num from temp_num where id=@id
IF (@num=0)
BEGIN
insert into temp_num values(floor(rand()*200)-100);–插入-100到100的随机数
SET @msg=’处理成功’
SET @result=1
COMMIT TRAN
END
ELSE IF(@num<0)
BEGIN
update temp_num set num=-1*num where id=@id;–将负数变正
COMMIT TRAN
END
ELSE
BEGIN
ROLLBACK TRAN
SET @msg=’处理失败’
SET @result=0
RAISERROR(@msg,16,1)
END

END TRY
BEGIN CATCH
SET @msg=ERROR_MESSAGE()
SET @result=0
ROLLBACK TRAN
END CATCH

RETURN @result
END

也就是说,如果你在分支里使用了commit、rollback,那么每个分支里都必须提交或者回滚,并且if else语句之后不能再次提交或者回滚。这样写起来比较麻烦,其实最好的做法是提前定义一个变量,if else中对变量赋值,结尾判断值再进行提交或者回滚操作。
此外,begin tran写在begin if之内或者之外都不影响catch语句中的回滚

———————
作者:数据的流
来源:CSDN
原文:https://blog.csdn.net/shujudeliu/article/details/78783613
版权声明:本文为博主原创文章,转载请附上博文链接!

SqlServer2008中事务使用的一些细节 – Hello World – CSDN博客已关闭评论
2019年2月27日 By mikel 分类: JavaScript
http://baa.im/847971

来源: 微信分享网页链接自定义图片和文字描述 – 走召爱木土的博客 – CSDN博客

今天开发需要微信分享网页链接自定义图片和文字描述,于是网上各种查找资料和各种看手册,遇到了好多坑,不过啃了半天以后终于把问题解决了,以防以后忘记,今天记录一下;
首先,由于微信已经发布了想要分享链接必须调用认证了的公众号的JSSDK接口,所以,像以前的在html页面中的head中放入图片,我试过已经不管用了,当然不是绝对的,但是我这个方法试了多好次,不能用,所以没有办法只好调接口来做这个功能了;
废话不多说,
首先第准备工作:
需要有一个认证了的公众号;

然后开始了我们的代码操作:
一: 在html中引入js文件
<script type=”text/JavaScript” src=”http://res.wx.qq.com/open/js/jweixin-1.2.0.js”></script>

这里写图片描述

二: 在控制器中假如一下代码,引入jssdk.php文件,我放在extend文件夹下面,
这个不是强制要求,大家随意,只要文件引入正确
//获取apptoken
        include EXTEND_PATH . "\jssdk\jssdk.php";
        $jssdk = new \JSSDK('你的appid','你的APPSecret');//这里填写自己的appid 和secret
        $signPackage = $jssdk->GetSignPackage();

三: 回到html中,将发送来的数据放在head中;这个好处就是,数据不需要写死,以防以后出现问题;
<script>
		wx.config({
            debug: false,
            appId: '{$signPackage["appId"]}',
            timestamp: '{$signPackage["timestamp"]}',
            nonceStr: '{$signPackage["nonceStr"]}',
            signature: '{$signPackage["signature"]}',
            jsApiList: [
	            //我只调用了两个分享接口,分别是朋友圈和个人,大家有其它需要可以去文档中查找接口
				'onMenuShareTimeline',
				'onMenuShareAppMessage'
			]
		});
		wx.ready(function () {
			var shareData = {
				title: '标题',	//	标题
				desc: '描述',	//	描述
				link: '链接',	//	分享的URL,必须和当前打开的网页的URL是一样的
				imgUrl: '缩略图完整路径'	//	缩略图地址
			};
			wx.onMenuShareAppMessage(shareData);
			wx.onMenuShareTimeline(shareData);
		});
		wx.error(function (res) {
			//alert(res.errMsg);//错误提示
		});
	 </script>

这里写图片描述

四: 将文件夹放入到你的项目中,也可以和第二步一起进行,在其中测试错误;


五:一定要在公众号里设置IP的白名单,否则一直报错,说你没有权限可以拿到token!


好了,大概就是这样,按流程走完,就可以分享网页链接的时候带上你自定义的图片和内容描述了
微信分享网页链接自定义图片和文字描述 – 走召爱木土的博客 – CSDN博客已关闭评论
2019年2月27日 By mikel 分类: 开发笔记
http://baa.im/847971

来源: 基于MUI的电影新闻的webapp项目开发 – luoshao2000的博客 – CSDN博客

写在前面:之前,本人在自学webapp的过程中,一直没有找到一份比较完整的开发步骤文档,都是一些零零散散的文档,走了很多弯路,也耽误了很多的时间,其中尝试了多种框架,感觉MUI这种H5+的模式是比较适合的一种WEBAPP开发模式,开发难度稍高于纯H5,但应用流畅度接近原生APP(本人和dcloud没有一毛钱关系),是值得推荐的一种混合型APP开发模式。为了让广大WEBAPP初学者少走弯路,大家可以跟着本项目文档走下来,基本上就掌握了WEBAPP开发的很多方面。本项目不涉及服务端,服务端实现较为简单,可以使用任意的语言实现,只需要能根据url返回json数据即可,所以本项目直接使用了网上公开的数据API。

1    项目简介
项目功能为加载知乎日报和豆瓣电影信息,可以查看新闻、影评和观看预告片。
2    项目资源
https://www.jianshu.com/p/42630373e1bc
2.1    知乎日报API
2.1.1    最新新闻列表:https://news-at.zhihu.com/api/4/news/latest
2.1.2    某条新闻内容:https://news-at.zhihu.com/api/4/news/3892357
2.2    豆瓣电影API
2.2.1    在映电影列表:https://douban.uieee.com/v2/movie/in_theaters?city=福州
2.2.2    某部电影信息:https://douban.uieee.com/v2/movie/subject/26985127
2.3    Json格式工具
打开http://www.bejson.com/,把获得的json字符串直接粘贴到输入框,然后验证
2.4    HTML模板工具
http://www.jq22.com/JQuery-info1097
JS资源下载
打开https://github.com/aui/art-template/tree/master/lib ,下载template-web.js

3    开发工具
3.1    HBuilder
http://download.dcloud.net.cn/HBuilder.9.1.14.windows.zip
3.2    夜神安卓模拟器
https://res06.bignox.com/full/20180816/b78465a3b8a9457eb47df54e477a1a60.exe?filename=nox_setup_v6.2.2.3_full.exe

4    开发过程
4.1    项目创建
使用Hbuilder新建移动APP项目,把template-web.js拷贝到js目录下; 新建subpages子目录,以后的页面都是放在该目录下。
4.2    入口页开发
打开index.html,写上一个页头mHeader和一个页脚导航mTab,修改链接和名称。

效果如下:

在subpages目录下,新建对应的四个页面,先写上简单的文字标识,后面会进行功能完善。

采用webView的方式来进行Tab切换,代码有点多,可以拷贝官方文档,进行局部修改,其实只要修改subpages即可,主要要和mTab中的设置要一致,否则会报告错误,因为名字错了,就无法找到文件资源,也就无法初始化了。

※初始化代码要写在plusReady事件中。
4.3    首页开发
暂时先留空,因为这个页面的内容是其他模块信息的综合而已,先做其他页面,在来组装本页的内容
4.4    新闻列表
打开newslist.html,新建一个mbody,
引入<script src=”../js/template-web.js” type=”text/JavaScript” charset=”utf-8″></script>
在mui.plusReady中编写ajax,获取数据

新建一个mListMedia块,删除多余的li,留下一个,用于制作模板(具体做法请参考art-template),最后模板如下:

※注意此图与上图的对应关系,script的id=“newlistScript”与template函数的参数名“newlistScript”是对应的。Mui(“#newlist”)是放置当前模板内容的父元素id,要记得给mbody的div加上id=‘newlist’。
※在这个过程当中,可以先用浏览器查询下数据,把数据放入www.bejson.com中进行观察,来指导编写代码。
绑定新闻条目的点击事件:

※解释:off是为了先把以前绑定的事件解除(一般不做也没有关系),on绑定tap点击事件到当前元素下的所有li元素上;this.getAttribute是获得li上的id属性值;openWindow是当点击某个li后,打开下一个网页,extras是传参;
页面效果如下:

4.5    新闻详情页
新建一个mHeader,取名为新闻详情,并带有返回键<
创建一个mBody,取id为news
引入template-web.js
创建mui.plusReady事件,编写代码:

创建一个卡片视图,(奇怪,hbuilder没有卡片的自动生成快捷键?),删除多余的div,留下一个做为模板用,模板最后如下:

页面效果如下:

4.6    豆瓣电影
打开movielist.html,
创建一个mbody
引入template-web.js
创建mui.plusReady事件,并编写代码

创建自定义模板

绑定tap事件

5    电影详情页
创建movie.html,
创建mHeader,创建mbody,取id为movie
创建卡片布局(见官网)
创建mui.plusReady事件,并编写代码

创建模板
把影片图片放在卡片的头部,把影片信息,预告片信息,影评信息分别放入卡片布局的内容区,具体代码见源代码。

※由于横向滚动条的预告片部分是动态生成的,所以要让它有滚动效果,必须重新初始化

6    首页开发
6.1    头部滚动条
滚动条为当前评分较高的电影海报,
在mui.plusReady中获取电影列表

自定义排序比较函数:降序排序

模板生成

6.2    下部列表
在mui.plusReady中拉数据

生成模板

7    项目效果预览

首页:

新闻列表

豆瓣电影

新闻详情页:

电影详情页:

预告片播放:

8. 项目源代码:

https://download.csdn.net/download/luoshao2000/10618471
———————
作者:包包老师
来源:CSDN
原文:https://blog.csdn.net/luoshao2000/article/details/81914525
版权声明:本文为博主原创文章,转载请附上博文链接!

基于MUI的电影新闻的webapp项目开发 – luoshao2000的博客 – CSDN博客已关闭评论
2019年2月26日 By mikel 分类: PHP
http://baa.im/847971

来源: html5+JS+PHP 预览并异步上传图片的功能 – 转身_错过 – CSDN博客

Html部分

<div class=”from-group clearfix from-group-padding”>
<label class=”col-sm-1 label-right”>微缩图 :</label>
<div class=”col-sm-2″>
<a href=”JavaScript:;” id=”uploadimg”>
<img src=”/images/default-thumbnail.png” width=”180″ style=”” id=”imgpre”>
<input type=”file” id=”imgFile” onchange=”imgPreview(this);return false;”/>
<input type=”hidden” name=”course_pic” value=”” id=”getpic”>
</a>
</div>
<div class=”input-note”>尺寸:640px × 363px</div>
</div>

CSS部分

/* 图片上传CSS */
#uploadimg{display:block; width:180px; height:180px;position:relative; overflow:hidden;}
#imgFile{position:absolute; right:0; top:0; font-size:100px; opacity:0; filter:alpha(opacity=0);cursor:pointer}
js部分
function imgPreview(fileDom){

//判断是否支持FileReader
if (window.FileReader) {
var reader = new FileReader();
} else {
toastr.error(‘不支持FileReader API 请升级您的设备’);
}
var file = fileDom.files[0];
var imageType = /^image\//;
//是否是图片
if (!imageType.test(file.type)) {
toastr.error(‘请选择图片!’);
return;
}
//读取完成
reader.onload = function(e) {
// //获取图片展示的dom
// var img = document.getElementById(“imgpre”);
// // 图片路径设置为读取的图片
// img.src = e.target.result;
// ajax 上传图片
$.post(“/Course/uploadimg”, {course_img: e.target.result}, function(ret) {
if (ret.img!=”) {
toastr.success(‘图片上传成功!’);
$(‘#imgpre’).attr(‘src’,’/’+ret.img);
$(‘#getpic’).attr(‘value’,’/’+ret.img);
alert(ret.img);
// $(‘#showimg’).html(‘<img src=”‘ + ret.img + ‘”>’);
// 返回给前台 图片地址 放到隐藏框中
} else {
toastr.error(‘图片上传错误!’);
}
},’json’);
};
reader.readAsDataURL(file);
}//imgPreview结束
php部分

public function uploadimg(){
$pic = Request::param();
//获取图片信息
list($type,$file) = explode(‘,’,$pic[‘course_img’]);
// 判断类型
if(strstr($type,’image/jpeg’)!=”){
$ext = ‘.jpg’;
}elseif(strstr($type,’image/gif’)!=”){
$ext = ‘.gif’;
}elseif(strstr($type,’image/png’)!=”){
$ext = ‘.png’;
}
// 生成的文件名
$photo = md5(time()).$ext;
$file_dir = ‘uploads/images/’.Date(‘Ymd’);
//判断文件夹是否存在
if (!is_dir($file_dir)) {
mkdir($file_dir,755,true);
}
if(file_put_contents($file_dir.’/’.$photo,base64_decode($file), true)){
$ret = [‘img’=>$file_dir.’/’.$photo];
//这里必须用echo返回json 用return JQuery接收不到
echo json_encode($ret);
}
}

———————
作者:转身_错过
来源:CSDN
原文:https://blog.csdn.net/qq_41321149/article/details/81293872
版权声明:本文为博主原创文章,转载请附上博文链接!

html5+JS+PHP 预览并异步上传图片的功能 – 转身_错过 – CSDN博客已关闭评论
备案信息冀ICP 0007948