A Libertine of Computer Science

Java Serialization [Java序列化和反序列化]

当两个进程远程通信时,彼此可以发送各种类型的数据。无论是何种类型的数据,都会以二进制序列的形式在网络上传送。比如,我们可以通过http协议发送字符串信息;我们也可以在网络上直接发送Java对象。发送方需要把这个Java对象转换为字节序列,才能在网络上传送;接收方则需要把字节序列再恢复为Java对象才能正常读取。

ZooKeeper Cluster Setup [搭建ZooKeeper集群]

本文介绍如何通过虚拟机搭建一个ZooKeeper集群,并且通过Java程序访问。关于VirtualBox创建虚拟机部分可以参考之前的Hadoop集群搭建。在网络连接部分,先创建一个虚拟host网络[这样会设置有一个可以使用的网段],然后每台机器的第二网卡选择host-only network,最后修改机器的/etc/hosts把集群机器名和ip写上,检查网络是否ping通。

Introduction to Big Data Systems [大数据系统介绍]

来自Google的三篇论文分别介绍了MapReduce,BigTable,GFS。由此衍生出了对应的开源的系统[Java实现]:Hadoop对应MapReduce,Hadoop Distributed File System [HDFS]对应GFS,Hbase对应BigTable。其实这种对应关系还有Google的Chubby和ZooKeeper。他们之间的性能区别我们不得而知,但是开源系统创造了更多的可能性,也催生出后面的Spark,Storm,Hive,ZooKeeper。

[1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17]