在Docker中的Hadoop环境进行调试

在实际使用中,需要编写java程序来执行hadoop中的运算任务。为了方便调试代码,使用IDEA来编辑,本机的hadoop环境是在docker中运行的,如果可以用IDEA连接hadoop环境,直接显示代码在hadoop集群中的运行结果,就会比较方便。 ...

February 27, 2020 · 6 min · 2811 words · univerone

使用docker在单机上搭建hadoop集群

这个学期正好选了hadoop的课程,也是第一次接触分布式运算的概念,感觉真是特别新鲜。由于条件限制,没有那么多机器可以用来搭建集群,因此只能在单机上进行,为了模拟多个节点,可以使用docker.本次的目标是搭建一个namenode,两个datanode. ...

February 19, 2020 · 3 min · 1274 words · univerone

Docker的基本使用

Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。 容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。 之前安装tensorflow时尝试了在docker下安装,程序运行在一个独立的环境里,感觉上相当于一个虚拟机。这篇博客记录了使用docker打包程序以及下载到主机上运行的全过程, ...

March 8, 2019 · 5 min · 2103 words · univerone