这个是专门记录大数据学习工作中遇见的问题的👀👀

Bug日记

hive 搭建bug

问题1：(2024年3月11日周一)

在搭建分布式hive时，启动hive客户端查询数据库时发现出现了一下错误：


hive> show databases;
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClienthive> show databases;
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

原因是在修改配置文件hive-site.xml时使用的是远程模式，服务器的地址写错了，原本是写hive server地址，thrift://slave01:9083，被我写成了本机的客户端的地址 thrift://slave02:9083

xml
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://slave01:9083</value>
    <value/>
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
  </property>

修改成功后启动客户端，发现可以查询出数据了，可是后面又出现了一行记录


hive> show databases;
OK
Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:user.name%7D
Time taken: 2.115 seconds

上网查询解决方案

xml
 <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/opt/hive/tmp/${system.user.name}</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
   将以上配置修改成以下配置
  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/opt/hive/tmp/${user.name}</value>
    <description>Local scratch space for Hive jobs</description>
  </property>

这样就完美解决问题

问题2：

启动hive --service matestore 时显示错误 “Address already in use”

产生该问题的原因时，hive启动时的端口被占用，去要我们手动去关闭占用的进程

第一步：查看端口是被哪个进程占用的

命令：netstat -apn | grep 端口号

第二步:杀掉进程

命令: kill -9 pid

重新启动hive --service matestore 就能ok了

问题3：

启动hive --service matestore时显示以下报错


org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.cj.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.

产生该问题的原因是因为hive lib库没有对应的mysql-connector-java-xxx-bin.jar 包

解决方法：可从网上或者maevn本地仓库拷贝一份到hive 的lib库即可

问题4：

启动hive --service matestore时显示以下报错


java.net.NoRouteToHostException: No Route to Host

原因是因为没有找到主机地址，这可能是因为防火墙没有关闭的原因，解决步骤


systemctl status firewalld #查看防火墙状态
systemctl stop firewalld #关闭防火墙
systemctl disable firewalld #开机不自启动

这样就可以解决该问题。

基础bug

xshell7连接虚拟机超时

解决方法1：检查虚拟机网卡 IPADDR 、NETMASK、GATEWAY、DNS、ONBOOT等配置是否正确，如果错误请进行修改，修改后就可以连接xshell7

解决方法2：windows 点击 “网络和Internet设置” -------> "高级网络设置" -------> “VMnet8” -------> “编辑” -------> “Internet协议版本4” -------> "使用下面的IP地址"，IP填写为虚拟机的网关地址，并填写对应的子网掩码。此时打开xshell7连接即可

解决方法3：vm主页点击“编辑” -------> “虚拟网络编辑器” -------> ”更改设置“ -------> ”还原默认设置“ 还原完成后记得把网段改为原来的即可。

目录