在Docker中的Hadoop环境进行调试

在实际使用中,需要编写java程序来执行hadoop中的运算任务。为了方便调试代码,使用IDEA来编辑,本机的hadoop环境是在docker中运行的,如果可以用IDEA连接hadoop环境,直接显示代码在hadoop集群中的运行结果,就会比较方便。 ...

February 27, 2020 · 6 min · 2811 words · univerone

使用docker在单机上搭建hadoop集群

这个学期正好选了hadoop的课程,也是第一次接触分布式运算的概念,感觉真是特别新鲜。由于条件限制,没有那么多机器可以用来搭建集群,因此只能在单机上进行,为了模拟多个节点,可以使用docker.本次的目标是搭建一个namenode,两个datanode. ...

February 19, 2020 · 3 min · 1274 words · univerone