# HDFS的API操作
### 1.下载hadoop-3.1.0到非中文路径
### 2.配置HADOOP_HOME环境变量
![image.png](http://suhm.top:328/static/img/8b34614237befa98407cd2ab539904d2.image.webp) 


### 3.配置Path环境变量
![](http://suhm.top:328/static/img/8c9c7314ed2b113c5da86bd71784ad57.image.webp)
验证Hadoop环境变量是否正常。双击winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。再资料包里面有对应的微软运行库安装包双击安装即可。![](http://suhm.top:328/static/img/782b660e46051a9c571d5383afe00d6b.image.webp)



### 4.创建一个Maven工程HdfsClientDemo，并导入相应的依赖坐标+日志添加

```xml
<dependencies>
 <dependency>
 <groupId>org.apache.hadoop</groupId>
 <artifactId>hadoop-client</artifactId>
 <version>3.1.3</version>
 </dependency>
 <dependency>
 <groupId>junit</groupId>
 <artifactId>junit</artifactId>
 <version>4.12</version>
 </dependency>
 <dependency>
 <groupId>org.slf4j</groupId>
 <artifactId>slf4j-log4j12</artifactId>
 <version>1.7.30</version>
 </dependency>
</dependencies>

```
在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入

```properties
log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
```
### 5.创建包名：com.example.hdfs
### 6.创建HdfsClient类

```java
package com.suhm.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.Arrays;

public class HDFSClient {

 private FileSystem fs;
 //获取连接
 @Before
 public void init() throws IOException, InterruptedException, URISyntaxException {
 //创建连接地址，访问nameNode内部访问端口
 URI url = new URI("hdfs://192.168.59.102/:8020");

 //创建核心配置对象
 Configuration configuration = new Configuration();

 //设置副本数量
 configuration.set("dfs.replication", "3");

 //操作用户
 String user = "hadoop";

 //获取客户端操作对象
 fs = FileSystem.get(url, configuration, user);

 }
 //关闭资源
 @After
 public void close() throws IOException {
 //关闭资源
 fs.close();
 }
 
 //创建文件夹
 @Test
 public void testMkdir() throws IOException {


 //创建文件夹
 boolean mkdirs = fs.mkdirs(new Path("/xiyou"));

 if (mkdirs) {
 System.out.println("创建成功");
 } else {
 System.out.println("创建失败");
 }


 }
 
 //windows文件拷贝到hdfs中
 @Test
 public void testPutFile() throws IOException {
 //拷贝本地文件到hdfs中
 fs.copyFromLocalFile(false, false,
 new Path("E:\\gaoyangchijiji.txt"), new Path("/xiyou"));
 }

 //hdfs中文件重命名和移动
 @Test
 public void testMv() throws IOException {

 //重名文件
 fs.rename(new Path("/samguo"), new Path("/test/sanguo"));
 }

 //删除文件夹
 @Test
 public void testDelFile() throws IOException {

 //删除空文件夹

 //fs.delete(new Path("/gaoyang"),false);

 //删除非空文件夹
 fs.delete(new Path("/test"), true);
 }

 //获取指定路径下的文件夹和目录
 @Test
 public void testPrintFileInfo() throws IOException {

 //获取路径下面的所有文件和目录 得到一个迭代器
 RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"),true);

 //进行迭代循环
 while(listFiles.hasNext()){
 //获得当前迭代文件的信息
 LocatedFileStatus fileStatus = listFiles.next();

 //打印文件路径
 System.out.println("============================"+ fileStatus.getPath() +"===============");
 System.out.println(fileStatus.getPermission()); //文件权限
 System.out.println(fileStatus.getOwner()); //文件所属者
 System.out.println(fileStatus.getGroup()); //文件所属组
 System.out.println(fileStatus.getLen()); //文件大小
 System.out.println(fileStatus.getModificationTime()); //文件上次修改的时间
 System.out.println(fileStatus.getReplication()); //文件副本存储数
 System.out.println(fileStatus.getBlockSize()); //块大小
 System.out.println(fileStatus.getPath().getName()); //获取文件名

 BlockLocation[] blockLocations = fileStatus.getBlockLocations(); //获取块存储的所有信息

 System.out.println(Arrays.toString(blockLocations));


 }
 }

 //判断是否是文件或者文件夹
 @Test
 public void testIsFileOrIsDir() throws IOException {
 FileStatus[] fileStatuses = fs.listStatus(new Path("/"));

 for (FileStatus fileStatus : fileStatuses) {

 if (fileStatus.isFile()){
 System.out.println("文件："+fileStatus.getPath().getName());
 }else {
 System.out.println("文件夹："+fileStatus.getPath().getName() );
 }
 }
 }
}

```

Hadoop之API

# WordCount案例实操
### 一、需求
1. 在给定的文本文件中统计输出每一个单词出现的总次数
2. 输入数据：hello.txt文本文件
3. 期望输出： 

atguigu	2 
banzhang	1 
cls	2 
hadoop	1 
jiao	1 
ss	2 
xue	1 



### 二、需求分析 
按照MapReduce编程规范，分别编写Mapper，Reducer，Driver。

![image.png](/static/img/ef369a40eb513afec614ca5855736d07.image.webp)

### 三、准备 
#### (1) 创建maven工程
#### (2) 在pom.xml中添加依赖

```xml
<dependencies>
 <dependency>
 <groupId>org.apache.hadoop</groupId>
 <artifactId>hadoop-client</artifactId>
 <version>3.1.3</version>
 </dependency>
 <dependency>
 <groupId>junit</groupId>
 <artifactId>junit</artifactId>
 <version>4.12</version>
 </dependency>
 <dependency>
 <groupId>org.slf4j</groupId>
 <artifactId>slf4j-log4j12</artifactId>
 <version>1.7.30</version>
 </dependency>
</dependencies>

```
#### (3) 在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

```properties
log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

```
#### (4) 创建包名 com.example.mapreduce.wordcount

### 四、编写程序
#### 1.编写mapper类

```java
package org.example.mapreduce.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class WordCountMapper extends Mapper<LongWritable, Text,Text, IntWritable> {
 private Text outKey = new Text();
 private IntWritable outValue = new IntWritable(1);

 @Override
 protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
 //1.读取每一行
 String line = value.toString();

 //2.分割出单词
 String[] words = line.split(" ");

 //3.生成key

 for (String word : words) {
 outKey.set(word);
 //4.写入context
 context.write(outKey, outValue);
 }


 }
}

```
#### 2.编写Reducer类

```java
package org.example.mapreduce.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
 IntWritable outValue = new IntWritable();
 @Override
 protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
 int sum = 0;
 for (IntWritable value : values) {
 sum += value.get();
 }
 outValue.set(sum);

 context.write(key,outValue);
 }
}

```

3.编写Driver类

```java
package org.example.mapreduce.wordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.FileInputStream;
import java.io.IOException;

public class WordCountDriver {
 public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
 //1.获取Job对象连接
 Configuration config = new Configuration();
 Job job = Job.getInstance(config);

 //2.设置jar包路径
 job.setJarByClass(WordCountDriver.class);

 //3.关联mapper和reducer
 job.setMapperClass(WordCountMapper.class);
 job.setReducerClass(WordCountReducer.class);

 //4.设置mapper输出kv类型
 job.setMapOutputKeyClass(Text.class);
 job.setMapOutputValueClass(IntWritable.class);

 //5.设置最终输出kv类型
 job.setOutputKeyClass(Text.class);
 job.setOutputValueClass(IntWritable.class);

 //6.输入输出路径
 FileInputFormat.setInputPaths(job, new Path("E:\\zhuanye\\大数据相关文件\\hadoop\\资料\\11_input\\inputword"));
 FileOutputFormat.setOutputPath(job, new Path("E:\\zhuanye\\大数据相关文件\\hadoop\\资料\\11_input\\outputwordcount\\output1"));

 //7.提交job

 boolean result = job.waitForCompletion(true);
 System.exit(result ? 0 : 1);
 }
}

```

Hadoop案例WordCount实操

# FISCO-BCOS 2.0 星型并行多组国密搭建教程

此教程将演示 FOSCO-BCOS的其他搭建方式
当然这些都是自己做的笔记👀
本教程将从以下几个顺序分别演示fisco-bcos不同的搭建方式:
1. 星型拓扑网络节点搭建 
2. 并行多组网络节点搭建 
3. 国密版FISCO BCOS搭建 


这里已经安装好操作环境，如果没安装请参考 [FISCO-BCOS 2.0 星型并行多组国密搭建教程](http://suhm.top:328/post/9)

本文Linux系统全部以ubuntu-22.04.2-desktop-amd64为例 


## 一、星型拓扑网络节点搭建
#### 1.场景描述:

星型拓扑结构是区块链中常用的组网方式，区块链中运行多个机构节点，中心机构节点同属于多个群组，其他每家机构属于不同的群组，本节将使用开发部署工具搭建一个**单机、4机构、3群组、8节点**的 FISCO BCOS 联盟链，组网结构如图：

![image.png](/static/img/ea2509b0eb9488533eada7cc667b9d9f.image.webp)
#### 2.组网描述：

agencyA：在127.0.0.1上有两个节点，同时属于group1、group2和group3
agencyB：在127.0.0.1上有两个节点，同时属于group1
agencyC：在127.0.0.1上有两个节点，同时属于group2
agencyD：在127.0.0.1上有两个节点，同时属于group3

#### 3.生成组网配置文件ipconf
注意参数之间的空格，不能有空行
```shell
fisco-bcos@fiscobcos:~/fisco$ cat > ipconf << EOF
> 127.0.0.1:2 agencyA 1,2,3
> 127.0.0.1:2 agencyB 1
> 127.0.0.1:2 agencyC 2
> 127.0.0.1:2 agencyD 3
> EOF
```

:::info{title="相关信息"}
组网配置文件内容的格式：
IP\:NUM AgencyName GroupList
IP\:NUM : 机器的IP地址以及该机器上的节点数
AgencyName : 机构名，用于指定使用的机构证书
GroupList : 改行生成的节点所属的组，若有多个群组，以 “,” 分割。
:::

#### 4.构建星型拓扑网络节点


```shell
bash build_chain.sh -f ipconf -p 30300,20200,8545
```
输出以下`All completed`表示构建成功

```shell
fisco-bcos@fiscobcos:~/fisco$ bash build_chain.sh -f ipconf -p 30300,20200,8545
[INFO] Downloading fisco-bcos binary from https://github.com/FISCO-BCOS/FISCO-BCOS/releases/download/v2.9.1/fisco-bcos.tar.gz ...
################################################################################################################################################################# 100.0%
build_chain.sh: 行 1644: [[: 50440597
12111170: 表达式中有语法错误（错误记号是 "12111170"）
==============================================================
Generating CA key...
==============================================================
Generating keys and certificates ...
Processing IP=127.0.0.1 Total=2 Agency=agencyA Groups=1,2,3
Processing IP=127.0.0.1 Total=2 Agency=agencyB Groups=1
Processing IP=127.0.0.1 Total=2 Agency=agencyC Groups=2
Processing IP=127.0.0.1 Total=2 Agency=agencyD Groups=3
==============================================================
Generating configuration files ...
Processing IP=127.0.0.1 Total=2 Agency=agencyA Groups=1,2,3
Processing IP=127.0.0.1 Total=2 Agency=agencyB Groups=1
Processing IP=127.0.0.1 Total=2 Agency=agencyC Groups=2
Processing IP=127.0.0.1 Total=2 Agency=agencyD Groups=3
==============================================================
Group:1 has 4 nodes
Group:2 has 4 nodes
Group:3 has 4 nodes
==============================================================
[INFO] IP List File : ipconf
[INFO] Start Port : 30300 20200 8545
[INFO] Server IP : 127.0.0.1:2 127.0.0.1:2 127.0.0.1:2 127.0.0.1:2
[INFO] Output Dir : /home/fisco-bcos/fisco/nodes
[INFO] CA Path : /home/fisco-bcos/fisco/nodes/cert/
[INFO] RSA channel : true
==============================================================
[INFO] Execute the download_console.sh script in directory named by IP to get FISCO-BCOS console.
e.g. bash /home/fisco-bcos/fisco/nodes/127.0.0.1/download_console.sh -f
==============================================================
[INFO] All completed. Files in /home/fisco-bcos/fisco/nodes

```

:::warning{title="注意"}
如果构建失败请检查ipconf文件里面的内容是否正确
:::
#### 5.启动节点
启动构建好的星型拓扑网络

```shell
fisco-bcos@fiscobcos:~/fisco$ bash nodes/127.0.0.1/start_all.sh 
```
输出以下内容表示启动成功，在这里能看到8个节点启动成功

```shell
try to start node0
try to start node1
try to start node2
try to start node3
try to start node4
try to start node5
try to start node6
try to start node7
 node2 start successfully
 node0 start successfully
 node7 start successfully
 node4 start successfully
 node3 start successfully
 node6 start successfully
 node5 start successfully
 node1 start successfully
```

:::warning{title="注意"}
如果启动失败或者启动不了全部节点，请检查ipconf文件里面的内容是否正确，尝试分别启动各个节点
检查端口是否被占用`lsof -i:端口号`,进行查看，如果端口被占用,更换端口或 kill 占用端口的进程
:::
#### 6.检查节点进程
查看进程

```shell
ps -ef | grep -v grep | grep fisco-bcos
```
正常情况下能够看见8个进程，如果没有请检查端口是否被占用
```shell
fisco-b+ 3849 1 1 18:50 pts/0 00:00:12 /home/fisco-bcos/fisco/nodes/127.0.0.1/node0/../fisco-bcos -c config.ini
fisco-b+ 3851 1 0 18:50 pts/0 00:00:04 /home/fisco-bcos/fisco/nodes/127.0.0.1/node4/../fisco-bcos -c config.ini
fisco-b+ 3853 1 0 18:50 pts/0 00:00:04 /home/fisco-bcos/fisco/nodes/127.0.0.1/node2/../fisco-bcos -c config.ini
fisco-b+ 3855 1 0 18:50 pts/0 00:00:04 /home/fisco-bcos/fisco/nodes/127.0.0.1/node7/../fisco-bcos -c config.ini
fisco-b+ 3857 1 0 18:50 pts/0 00:00:04 /home/fisco-bcos/fisco/nodes/127.0.0.1/node3/../fisco-bcos -c config.ini
fisco-b+ 3859 1 0 18:50 pts/0 00:00:04 /home/fisco-bcos/fisco/nodes/127.0.0.1/node5/../fisco-bcos -c config.ini
fisco-b+ 3862 1 0 18:50 pts/0 00:00:04 /home/fisco-bcos/fisco/nodes/127.0.0.1/node6/../fisco-bcos -c config.ini
fisco-b+ 3866 1 1 18:50 pts/0 00:00:11 /home/fisco-bcos/fisco/nodes/127.0.0.1/node1/../fisco-bcos -c config.ini
```
#### 7.检查angency的节点共识

:::tip{title="提示"}
节点的群组划分是按照顺序进行划分的
127.0.0.1:2 agencyA 1,2,3 包括的节点 node0 node1 
127.0.0.1:2 agencyB 1 包括的节点 node2 node3
127.0.0.1:2 agencyC 2 包括的节点 node4 node5
127.0.0.1:2 agencyD 3 包括的节点 node6 node7
:::
查看angencyA机构节点共识

```shell
tail -f nodes/127.0.0.1/node0/log/log* | grep +++
```
可以看到angencyA中的node0节点在其他群组都有共识

```shell
info|2024-03-30 18:59:59.550188|[g:2][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=3,hash=8c88cefd...
info|2024-03-30 18:59:59.566130|[g:3][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=3,hash=8aa05d40...
info|2024-03-30 19:04:20.167967|[g:1][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=2,hash=21e0e458...

```
查看angencyB机构节点共识


```shell
fisco-bcos@fiscobcos:~/fisco$ tail -f nodes/127.0.0.1/node2/log/log* | grep +++

```
可以看到agencyB中的节点在群组1中共识

```shell
info|2024-03-30 18:59:59.568219|[g:1][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=3,hash=1e20f24d...
info|2024-03-30 19:16:05.748317|[g:1][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=3,hash=9328d76a...
info|2024-03-30 19:16:09.762121|[g:1][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=3,hash=b2099105...

```
在这里就用前两个群组进行演示,其他的可以自行进行测试
#### 8.检查连接数
这里就用node0 进行演示

```shell
fisco-bcos@fiscobcos:~/fisco$ tail -f nodes/127.0.0.1/node0/log/log* | grep connected
```
可以看到node0的与其他7个节点都有连接，其他的几个节点是同样的

```shell
info|2024-03-30 19:26:17.750329|[P2P][Service] heartBeat,connected count=7
```
## 二、并行多组搭建

**场景描述**:
本节将使用开发部署工具搭建一个**单机、2群组、4节点**的FISCO BCOS联盟链，为演示并行多组的扩容流程，将先构建单群组四节点网络，随后将群组2加入区块链中，组网结构 如图所示：

![image.png](/static/img/84252abab839eb37e75f76e79fd638b4.image.webp)


#### 1.单群组四节点网络搭建

在演示前需要先搭建单群组四节点

```shell
bash build_chain.sh -l 127.0.0.1:4 -p 30300,20200,8545
```
出现`All completed`代表构建成功

```shell
[INFO] Downloading fisco-bcos binary from https://github.com/FISCO-BCOS/FISCO-BCOS/releases/download/v2.9.1/fisco-bcos.tar.gz ...
curl: (92) HTTP/2 stream 1 was not closed cleanly before end of the underlying stream 

[INFO] Download speed is too low, try https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/FISCO-BCOS/FISCO-BCOS/releases/v2.9.1/fisco-bcos.tar.gz
################################################################################################################################################################# 100.0%
build_chain.sh: 行 1644: [[: 50440597
12111170: 表达式中有语法错误（错误记号是 "12111170"）
==============================================================
Generating CA key...
==============================================================
Generating keys and certificates ...
Processing IP=127.0.0.1 Total=4 Agency=agency Groups=1
==============================================================
Generating configuration files ...
Processing IP=127.0.0.1 Total=4 Agency=agency Groups=1
==============================================================
[INFO] Start Port : 30300 20200 8545
[INFO] Server IP : 127.0.0.1:4
[INFO] Output Dir : /home/fisco-bcos/fisco/nodes
[INFO] CA Path : /home/fisco-bcos/fisco/nodes/cert/
[INFO] RSA channel : true
==============================================================
[INFO] Execute the download_console.sh script in directory named by IP to get FISCO-BCOS console.
e.g. bash /home/fisco-bcos/fisco/nodes/127.0.0.1/download_console.sh -f
==============================================================
[INFO] All completed. Files in /home/fisco-bcos/fisco/node
```

#### 2.启动所有节点

```shell
bash nodes/127.0.0.1/start_all.sh
```
输出以下信息表示成功启动

```shell
try to start node0
try to start node1
try to start node2
try to start node3
 node0 start successfully
 node2 start successfully
 node3 start successfully
 node1 start successfully
```
#### 3.检查共识、连接数以及进程
检查进程
```shell
ps -ef | grep -v grep | grep fisco-bcos
```
检查共识

```shell
tail -f nodes/127.0.0.1/node0/log/log* | grep ++++
```
检查连接数

```shell
tail -f nodes/127.0.0.1/node0/log/log* | grep connected
```
#### 4.群组扩容
由于在并行多组区块链中，每个群组的 ini 文件相同，但 genesisi文件中的 [group.id]不同，为群组号，所以我们需要拷贝群组1的配置文件(genesis和ini文件)，并修改genesis文件中的群组号。然后更改文件 group.1.* 为 group.2.* 在拷贝到其他节点的相同目录下
##### 1)进入节点目录
为了减少路径输入引起的麻烦和错误，这里就先进入节点目录

```shell
cd nodes/127.0.0.1/ 
```
##### 2)拷贝group.1.genesis 文件为 group.2.genesis
拷贝group.1.genesis为group.2.genesis

```shell
cp node0/conf/group.1.genesis node0/conf/group.2.genesis
```
##### 3)拷贝group.1.ini为group.2.ini

```shell
cp node0/conf/group.1.ini node0/conf/group.2.ini
```
可以看到拷贝成功

```shell
fisco-bcos@fiscobcos:~/fisco/nodes/127.0.0.1$ ls node0/conf/
ca.crt channel_cert group.1.genesis group.1.ini group.2.genesis group.2.ini node.crt node.key node.nodeid

```
##### 4)修改group.2.genesis中的id

因为两个群组中只有group.id不同所以只需要修改id

```shell
sed -i "s/id=1/id=2/g" node0/conf/group.2.genesis
```
可以看到已经修改成功

```shell
fisco-bcos@fiscobcos:~/fisco/nodes/127.0.0.1$ cat node0/conf/group.2.genesis | grep "id"
 ; the node id of consensusers
 id=2
```
##### 5)拷贝文件到其他节点
拷贝文件
```shell
cp node0/conf/group.2.ini node1/conf
cp node0/conf/group.2.ini node2/conf
cp node0/conf/group.2.ini node3/conf
cp node0/conf/group.2.genesis node3/conf
cp node0/conf/group.2.genesis node2/conf
cp node0/conf/group.2.genesis node1/conf
```
查看是否拷贝成功

```shell
node1/conf
ca.crt channel_cert group.1.genesis group.1.ini group.2.genesis group.2.ini node.crt node.key node.nodeid
```
##### 6)重启节点
重启节点加载文件

```shell
bash stop_all.sh && bash start_all.sh
```
重启成功

```shell
try to stop node0
try to stop node1
try to stop node2
try to stop node3
 stop node0 success.
 stop node2 success.
 stop node3 success.
 stop node1 success.
try to start node0
try to start node1
try to start node2
try to start node3
 node0 start successfully
 node3 start successfully
 node1 start successfully
 node2 start successfully
```
##### 7)查看共识
查看共识检查节点是否加入群组2中

```shell
tail -f node0/log/log* |grep ++++
```
可以看到节点成功加入群组2中

```shell
info|2024-03-30 20:35:09.226595|[g:1][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=3,hash=82bf26f6...
info|2024-03-30 20:35:09.308081|[g:2][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=3,hash=c59f63d7...
```

:::warning{title="注意"}
如果没有节点没有加入群组，请检查group.2.genesis 文件中的id是否正确修改
:::
## 三、国密版 FISCO BCOS搭建
#### 1.国密版与标准版 FISCO BCOS算法差异

![image.png](/static/img/d422844292d83a221982556e0da9bbc1.image.webp)

#### 2.SSL连接差异

![image.png](/static/img/269238ecf3c5a08de7aba66acfc4a6d1.image.webp)

#### 3.国密版与标准版FISCO BCOS在数据结构上的差异

![image.png](/static/img/c756515e8b872d1f990462ac716467bd.image.webp)
**场景描述**
使用开发部署工具搭建一个单机单群组4节点的国密版FISCO BCOS联盟链

![image.png](/static/img/3a970cbfae5c49e14014a8a2b02b3ead.image.webp)

#### 4.搭建国密版FISCO BCOS区块链节点
搭建国密版的需要用到 -g -G 参数

```shell
bash build_chain.sh -l 127.0.0.1:4 -p 30300,20200,8545 -g -G
```
出现`All completed`表示构建成功

```shell
[INFO] Downloading fisco-bcos binary from https://github.com/FISCO-BCOS/FISCO-BCOS/releases/download/v2.9.1/fisco-bcos.tar.gz ...
###### 4.1%curl: (28) Operation too slow. Less than 102400 bytes/sec transferred the last 20 seconds

[INFO] Download speed is too low, try https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/FISCO-BCOS/FISCO-BCOS/releases/v2.9.1/fisco-bcos.tar.gz
################################################################################################################################################################# 100.0%
build_chain.sh: 行 1644: [[: 50440597
12111170: 表达式中有语法错误（错误记号是 "12111170"）
==============================================================
Generating CA key...
Generating Guomi CA key...
==============================================================
Generating keys and certificates ...
Processing IP=127.0.0.1 Total=4 Agency=agency Groups=1
==============================================================
Generating configuration files ...
Processing IP=127.0.0.1 Total=4 Agency=agency Groups=1
==============================================================
[INFO] Start Port : 30300 20200 8545
[INFO] Server IP : 127.0.0.1:4
[INFO] Output Dir : /home/fisco-bcos/fisco/nodes
[INFO] CA Path : /home/fisco-bcos/fisco/nodes/cert/
[INFO] Guomi CA Path : /home/fisco-bcos/fisco/nodes/gmcert/
[INFO] Guomi mode : true
[INFO] SM channel : true
==============================================================
[INFO] Execute the download_console.sh script in directory named by IP to get FISCO-BCOS console.
e.g. bash /home/fisco-bcos/fisco/nodes/127.0.0.1/download_console.sh -f
==============================================================
[INFO] All completed. Files in /home/fisco-bcos/fisco/nodes

```
#### 5.启动所有节点

```shell
bash nodes/127.0.0.1/start_all.sh 
```
出现以下表示启动成功

```shell
try to start node0
try to start node1
try to start node2
try to start node3
 node0 start successfully
 node2 start successfully
 node3 start successfully
 node1 start successfully
```
#### 6.查看证书
可以看到国密版FISCO BCOS有两套证书，一套国密版，一套标准版，节点与SDK之间即支持SSL连接进行通信，也支持国密SSL连接进行通信

```shell
fisco-bcos@fiscobcos:~/fisco$ ll nodes/127.0.0.1/node0/conf
总计 52
drwxrwxr-x 4 fisco-bcos fisco-bcos 4096 3月 30 20:52 ./
drwxrwxr-x 6 fisco-bcos fisco-bcos 4096 3月 30 20:52 ../
drwxrwxr-x 2 fisco-bcos fisco-bcos 4096 3月 30 20:52 channel_cert/
-rw-rw-r-- 1 fisco-bcos fisco-bcos 676 3月 30 20:52 gmca.crt
-rw-rw-r-- 1 fisco-bcos fisco-bcos 587 3月 30 20:52 gmennode.crt
-rw-rw-r-- 1 fisco-bcos fisco-bcos 241 3月 30 20:52 gmennode.key
-rw-rw-r-- 1 fisco-bcos fisco-bcos 1935 3月 30 20:52 gmnode.crt
-rw-rw-r-- 1 fisco-bcos fisco-bcos 241 3月 30 20:52 gmnode.key
-rw-rw-r-- 1 fisco-bcos fisco-bcos 129 3月 30 20:52 gmnode.nodeid
-rw-rw-r-- 1 fisco-bcos fisco-bcos 16 3月 30 20:52 gmnode.serial
-rw-rw-r-- 1 fisco-bcos fisco-bcos 1257 3月 30 20:52 group.1.genesis
-rw-rw-r-- 1 fisco-bcos fisco-bcos 2852 3月 30 20:52 group.1.ini 
drwxrwxr-x 2 fisco-bcos fisco-bcos 4096 3月 30 20:52 origin_cert/ #标准版证书目录
```
#### 7.查看节点进程
查看节点进程

```shell
ps -ef | grep -v grep | grep fisco-bcos
```
输出进程

```shell
fisco-b+ 9413 1 0 20:52 pts/0 00:00:08 /home/fisco-bcos/fisco/nodes/127.0.0.1/node2/../fisco-bcos -c config.ini
fisco-b+ 9415 1 0 20:52 pts/0 00:00:07 /home/fisco-bcos/fisco/nodes/127.0.0.1/node0/../fisco-bcos -c config.ini
fisco-b+ 9417 1 0 20:52 pts/0 00:00:07 /home/fisco-bcos/fisco/nodes/127.0.0.1/node3/../fisco-bcos -c config.ini
fisco-b+ 9419 1 0 20:52 pts/0 00:00:07 /home/fisco-bcos/fisco/nodes/127.0.0.1/node1/../fisco-bcos -c config.ini
```
#### 8.查看节点共识
查看节点共识

```shell
tail -f nodes/127.0.0.1/node0/log/log* | grep ++++
```
输出结果

```shell
info|2024-03-30 20:59:59.070644|[g:1][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=2,hash=f35289da...
info|2024-03-30 21:09:28.381847|[g:1][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=2,hash=ea6bb9e0...
info|2024-03-30 21:09:32.423803|[g:1][CONSENSUS][SEALER]++++++++++++++++ Generating seal on,blkNum=1,tx=0,nodeIdx=2,hash=9086f4e9...
```
**到此三种搭建方式就已经演示完毕**

FISCO-BCOS 2.0 星型并行多组国密搭建教程

FISCO-BCOS 2.0搭建教程

Hadoop的伪分布式搭建，主要是方便自己👀

# Hadoop伪分布式搭建
### 一、环境准备
1. 安装虚拟机
2. IP地址
3. 主机名称
4. 内存2G
5. 硬盘20G

**以上配置可根据自己电脑配置进行修改**

**虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）**

#### 1. 能够ping通外网
#### 
```shell
[root@hadoop ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms

```
#### 2. 安装epel-release

:::info{title="相关信息"}
注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）
:::

```shell
yum install -y epel-release
```
#### 3. 如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作

```shell
#net-tool：工具包集合，包含ifconfig等命令
yum install -y net-tools 
#vim：编辑器
yum install -y vim
```
#### 4. 关闭防火墙和防火墙开机自启动

```shell
systemctl stop firewalld #关闭防火墙
systemctl disable firewalld.service #禁止开机自启动
```
#### 5.创建Hadoop用户

```shell
#以下命令均用root用户操作
useradd hadoop #创建hadoop用户
passwd hadoop #设置hadoop用户密码
```
#### 6.配置hadoop用户具有root权限，方便后期加sudo执行root权限的命令

```shell
[root@hadoop ~]# vim /etc/sudoers 
#修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：
## Allow root to run any commands anywhere
root ALL=(ALL) ALL

## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL #这一行下面添加
hadoop ALL=(ALL) NOPASSWD:ALL
```

:::warning{title="注意"}
注意：hadoop这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了hadoop具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以hadoop要放到%wheel这行下面。
:::
#### 7.在/opt目录下创建文件夹，并修改所属主和所属组
1) 在/opt目录下创建module、software文件夹

```shell
[root@hadoop ~]# mkdir /opt/module
[root@hadoop ~]# mkdir /opt/software
```
2) 修改module、software文件夹的所有者和所属组均为hadoop用户

```shell
[root@hadoop ~]# chown hadoop:hadoop /opt/module 
[root@hadoop ~]# chown hadoop:hadoop /opt/software
```
3) 查看module、software文件夹的所有者和所属组

```shell
[root@hadoop ~]# ll /opt
```
8. 卸载虚拟机自带的JDK

```shell
#注意：如果你的虚拟机是最小化安装不需要执行这一步。
[root@hadoop ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 
```

:::info{title="相关信息"}
相关信息
rpm -qa：查询所安装的所有rpm软件包
grep -i：忽略大小写
xargs -n1：表示每次只传递一个参数
rpm -e –nodeps：强制卸载软件
:::
9. 重启虚拟机

```shell
[root@hadoop ~]# reboot
```
### 二、配置网络环境
#### 1. 修改虚拟机的静态IP
```shell
[root@hadoop ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

#改成
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static #开启静态IP
NAME="ens33"
IPADDR=192.168.10.102 #IP地址
PREFIX=24 #子网掩码
GATEWAY=192.168.10.2 #网关
DNS1=192.168.10.2 #DNS
```
#### 2. 查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

![image.png](/static/img/e7da9fe4f28c1ae7cb1bf1b1ae911bc6.image.webp)


![image.png](/static/img/0fcd08b80586c4db0c71db779372fb59.image.webp)
#### 3. 查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

![image.png](/static/img/a5900eb25ec01c0bfdc53ff9d1bb1478.image.webp)

#### 4. 保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

### 三、修改主机名
#### 1. 修改主机名称

```shell
[root@hadoop100 ~]# vim /etc/hostname
#删除原来的，添加hadoop
hadoop
```
#### 2. 配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

```shell
[root@hadoop ~]# vim /etc/hosts

#添加以下内容
192.168.10.100 hadoop
```
3. 重启虚拟机

```shell
[root@hadoop ~]# reboot
```
### 四、安装JDK
#### 1. 卸载自带的JDK

```shell
[root@hadoop ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 
```

:::warning{title="注意"}
注意：安装JDK前，一定确保提前删除了虚拟机自带的JDK
:::
#### 2. 用XShell传输工具将JDK导入到opt目录下面的software文件夹下面

![image.png](/static/img/a05d10bafebc29785cee58283bd4d934.image.webp)

#### 3. 在Linux系统下的opt目录中查看软件包是否导入成功

```shell
[hadoop@hadoop ~]$ ls /opt/software/
```
看到如下结果:
`jdk-8u212-linux-x64.tar.gz`
#### 4. 解压JDK到/opt/module目录下


```shell
[hadoop@hadoop software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
```
#### 5. 配置JDK环境变量
##### 1) 新建/etc/profile.d/my_env.sh文件

```shell
[hadoop@hadoop ~]$ sudo vim /etc/profile.d/my_env.sh

#添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
```
##### 2) 保存退出
`Esc键 :wq`

:::info{title="相关信息"}
相关信息：profile文件在运行时会加载profile.d目录下的所有 *.sh文件
:::
##### 3) source一下/etc/profile文件，让新的环境变量PATH生效

```shell
[hadoop@hadoop ~]$ source /etc/profile
```
#### 6. 测试JDK是否安装成功

```shell
[hadoop@hadoop ~]$ java -version
如果能看到以下结果，则代表Java安装成功。
java version "1.8.0_212"
```

:::warning{title="注意"}
注意：重启（如果java -version可以用就不用重启）
`[hadoop@hadoop ~]$ sudo reboot`
:::

### 五、安装Hadoop
**官网下载Hadopp**：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

#### 1. 用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

![image.png](/static/img/8e08e27642c2759e96b9b496b0311862.image.webp)
#### 2. 进入到Hadoop安装包路径下

```shell
[hadoop@hadoop ~]$ cd /opt/software/
```
#### 3. 解压安装文件到/opt/module下面


```shell
[hadoop@hadoop software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
```
#### 4. 查看是否解压成功

```shell
[hadoop@hadoop software]$ ls /opt/module/
hadoop-3.1.3
```
#### 5. 将Hadoop添加到环境变量
##### 1) 获取Hadoop安装路径

```shell
[hadoop@hadoop hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
```
##### 2) 打开/etc/profile.d/my_env.sh文件

```shell
[hadoop@hadoop hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
#添加以下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

#保存并退出： :wq
```
##### 3) 让修改后的文件生效

```shell
[hadoop@hadoop hadoop-3.1.3]$ source /etc/profile
```
#### 4. 测试是否安装成功

```shell
[hadoop@hadoop hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3
```
### 六. Hadoop目录结构
#### 1. 查看Hadoop目录结构

```shell
[hadoop@hadoop hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 hadoop hadoop 4096 5月 22 2017 bin
drwxr-xr-x. 3 hadoop hadoop 4096 5月 22 2017 etc
drwxr-xr-x. 2 hadoop hadoop 4096 5月 22 2017 include
drwxr-xr-x. 3 hadoop hadoop 4096 5月 22 2017 lib
drwxr-xr-x. 2 hadoop hadoop 4096 5月 22 2017 libexec
-rw-r--r--. 1 hadoop hadoop 15429 5月 22 2017 LICENSE.txt
-rw-r--r--. 1 hadoop hadoop 101 5月 22 2017 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 hadoop hadoop 4096 5月 22 2017 sbin
drwxr-xr-x. 4 hadoop hadoop 4096 5月 22 2017 share

```
#### 2. 重要目录

1) bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
2) etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
3) lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
4) sbin目录：存放启动或停止Hadoop相关服务的脚本
5) share目录：存放Hadoop的依赖jar包、文档、和官方案例

### 七、设置免密登录
#### 1. 生成公钥和私钥

```shell
[hadoop@hadoop .ssh]$ pwd
/home/hadoop/.ssh

[hadoop@hadoop .ssh]$ ssh-keygen -t rsa
```
**然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）**
#### 2. 将公钥拷贝到要免密登录的目标机器上

```shell
[hadoop@hadoop .ssh]$ ssh-copy-id hadoop
```
### 八、搭建伪分布式
#### 1. 配置集群
##### 1) 核心配置文件

```shell
 #配置core-site.xml
 [hadoop@hadoop ~]$ cd $HADOOP_HOME/etc/hadoop
 [hadoop@hadoop hadoop]$ vim core-site.xml
```
**修改内容如下**
```xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
 
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop:8020</value>
 </property>

 
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/module/hadoop-3.1.3/data</value>
 </property>

 
 <property>
 <name>hadoop.http.staticuser.user</name>
 <value>hadoop</value>
 </property>
</configuration>
```
#### 2) HDFS配置文件

```shell
#配置hdfs-site.xml
[hadoop@hadoop hadoop]$ vim hdfs-site.xml
```
**文件内容如下**：


```xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	
	<property>
 <name>dfs.namenode.http-address</name>
 <value>hadoop:9870</value>
 </property>
	
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop:9868</value>
 </property>
 	
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>

</configuration>

```
#### 3) YARN配置文件


```shell
#配置yarn-site.xml
[hadoop@hadoop hadoop]$ vim yarn-site.xml
```
**文件内容如下：**

```xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
 
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>

 
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop</value>
 </property>

 
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
 <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>
</configuration>
```
#### 4) MapReduce配置文件

```shell
#配置mapred-site.xml
[hadoop@hadoop hadoop]$ vim mapred-site.xml
```
**文件内容如下**：


```xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

```
#### 2. 启动集群
##### 1) 第一次启动 需要格式化NameNode

```shell
[hadoop@hadoop hadoop-3.1.3]$ hdfs namenode -format
```

:::warning{title="注意"}
注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。
:::
##### 2) 启动HDFS 和 YARN

```shell
[hadoop@hadoop hadoop-3.1.3]$ sbin/start-dfs.sh
[hadoop@hadoop hadoop-3.1.3]$ sbin/start-yarn.sh
```
##### 3) 执行命令jps能看到6个Java程序

```txt
jps
namenode
secondarynamenode
datanode
resourcemanager
nodemanager
```
##### 4) 能看到一个存放日志的目录$HADOOP_HOME/logs
##### 5) 并能看到一个存放索引和数据的目录$HADOOP_HOME/data
#### 3. 测试
##### 1) 上传文件到集群
**上传小文件**

```shell
[hadoop@hadoop ~]$ hadoop fs -mkdir /input
[hadoop@hadoop ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
```

```shell
[hadoop@hadoop ~]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input/word.txt /output
```




参考尚硅谷:【尚硅谷大数据Hadoop教程，hadoop3.x搭建到集群调优，百万播放】 https://www.bilibili.com/video/BV1Qp4y1n7EN/?p=57&share_source=copy_web&vd_source=89b9de79c8f374309c5791db6796b62f