terracotta + tomcat + nginx集群

今天研究了一下terracotta + tomcat的集群，记录一下。
一、环境
    本机，ip:192.168.2.158  win7 64位
    虚拟机，ip:192.168.81.128 RedHat 64位
    本机装两个tomcat 和 一个terracotta，虚拟机装一个teracotta。
    虚拟机也要装jdk，因为terracotta需要jdk的支持。
    terracotta安装目录，win7为G:\java_workspaces\terracotta-3.7.7  虚拟机为/usr/lws_life/terracotta-3.7.7
二、步骤
    1、将terracotta安装目录下sessions文件夹里的terracotta-session-1.3.7.jar 和 common文件夹里的 terracotta-toolkit-1.6-runtime-5.7.0.jar 文件 都拷贝到 tomcat的lib中（两个tomcat都需要拷贝）。
    2、在terracotta安装目录下创建tc-config.xml的配置文件，内容如下

<?xml version="1.0" encoding="UTF-8" ?>
<tc:tc-config xmlns:tc="http://www.terracotta.org/config"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://www.terracotta.org/schema/terracotta-6.xsd">

  <tc-properties>
    <property name="l2.nha.dirtydb.autoDelete" value="true"/>
    <property name="l1.cachemanager.enabled" value="true"/>
    <property name="logging.maxLogFileSize" value="1024"/>
  </tc-properties>

  <system>
    <configuration-model>development</configuration-model>
  </system>

  <servers>
    <!-- 这里配置第一台 terracotta服务器信息  -->
    <server host="192.168.2.158" name="MyServer1" bind="192.168.2.158">
      <data>G:/java_workspaces/terracotta-3.7.7/server-data</data>
      <logs>G:/java_workspaces/terracotta-3.7.7/server-logs</logs>
      <index>G:/java_workspaces/terracotta-3.7.7/server-index</index>
      <statistics>G:/java_workspaces/terracotta-3.7.7/server-statistics</statistics>

      <!-- 这些端口都是默认的  -->
      <dso-port bind="192.168.2.158">9510</dso-port>
      <jmx-port bind="192.168.2.158">9520</jmx-port>
      <l2-group-port bind="192.168.2.158">9530</l2-group-port>

      <authentication/>

      <http-authentication>
        <user-realm-file>G:/java_workspaces/terracotta-3.7.7/realm.properties</user-realm-file>
      </http-authentication>

      <dso>

        <client-reconnect-window>120</client-reconnect-window>


        <persistence>

          <mode>temporary-swap-only</mode>
        </persistence>

        <garbage-collection>

          <enabled>true</enabled>

          <verbose>false</verbose>

          <interval>3600</interval>
        </garbage-collection>

      </dso>
    </server>

    <!-- 这里配置第二台terracotta服务器信息 -->
    <server host="192.168.81.128" name="MyServer2" bind="192.168.81.128">
      <data>/usr/lws_file/terracotta-3.7.7/server-data</data>
      <logs>/usr/lws_file/terracotta-3.7.7/server-logs</logs>
      <index>/usr/lws_file/terracotta-3.7.7/server-index</index>
      <statistics>/usr/lws_file/terracotta-3.7.7/server-statistics</statistics>

      <dso-port bind="192.168.81.128">9510</dso-port>

      <jmx-port bind="192.168.81.128">9520</jmx-port>

      <l2-group-port bind="192.168.81.128">9530</l2-group-port>

      <authentication/>

      <http-authentication>
        <user-realm-file>/usr/lws_file/terracotta-3.7.7/realm.properties</user-realm-file>
      </http-authentication>

      <dso>

        <client-reconnect-window>120</client-reconnect-window>


        <persistence>

          <mode>temporary-swap-only</mode>
        </persistence>

        <garbage-collection>

          <enabled>true</enabled>

          <verbose>false</verbose>

          <interval>3600</interval>
        </garbage-collection>

      </dso>
    </server>
    
    <ha>

      <mode>networked-active-passive</mode>
   
      <networked-active-passive>
        <election-time>5</election-time>
      </networked-active-passive>
    </ha>

    <update-check>
   
      <enabled>true</enabled>
   
      <period-days>10</period-days>
    </update-check>
  </servers>

  <clients>

    <logs>logs-%i</logs>
  </clients>

</tc:tc-config>

3、修改tomcat安装目录conf文件夹中的context.xml文件，添加内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<Context>
    <WatchedResource>WEB-INF/web.xml</WatchedResource>
    
    <!-- 主要添加这一段 我用的tomcat6.0, tcConfigUrl为terracotta服务器的地址，端口就是tc-config.xml文件中设置的dso端口，这里默认为9510，多个服务器信息用逗号分隔 -->
    <Valve className="org.terracotta.session.TerracottaTomcat60xSessionValve" tcConfigUrl="192.168.2.158:9510,192.168.81.128:9510"/>
</Context>

4、配置nginx，配置文件为nginx安装目录下conf文件夹中的nginx.conf，主要修改代码如下：

 
#这里是配置nginx的负载均衡 有四种负载均衡的方式，这里采用权值的分配
upstream mysvr {
      #weigth参数表示权值，权值越高被分配到的几率越大
      #本机上的Squid开启3128端口
      #这里的ip和端口请对照tomcat做相应修改
      server 127.0.0.1:8080 weight=1;
      server 127.0.0.1:8081 weight=1;
    }

    server {
            #监听80端口
	    listen 80;
	    server_name localhost;
	    location / {
              #这里的mysvr为上方配置的 负载均衡的信息
	      proxy_pass http://mysvr;
	      proxy_redirect off;
	      proxy_set_header Host $host;
	      proxy_set_header X-Real-IP $remote_addr;
	      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	      client_max_body_size 10m;
              client_body_buffer_size 128k;
              
              #该值表示一台服务器down了之后，如果分配给该服务器资源，链接超过1秒钟，就重新分配资源
              proxy_connect_timeout 1;
              proxy_send_timeout 90;
              proxy_read_timeout 90;
              proxy_buffer_size 4k;
              proxy_buffers 4 32k;
              proxy_busy_buffers_size 64k;
              proxy_temp_file_write_size 64k;
	    }
    }

5、启动terracotta服务。
   win7 下进入cmd模式，进入terracotta的bin目录，执行如下命令

start-tc-server.bat -f <安装路径>/tc-config.xml

  
linux下，进入terracotta的bin目录，执行如下命令

start-tc-server.sh -f <安装路径>/tc-config.xml

   注意：这里启动需要指定tc-config.xml文件，否则会使用默认的配置文件。
         如果linux下不能执行该命令，需要赋予权限，最简单的就是 chmod 777 -R  <terracotta安装路径>
如果配置无误，会看到下面的信息
[img]



[/img]
6、启动tomcat服务 和 nginx服务。
   访问 http://127.0.0.1(nginx 和 tomcat都是装在本机的，所以可以用127.0.0.1访问，项目部署时去掉项目名，比如http://127.0.0.1:8080/coal 访问的要改为 http://127.0.0.1:8080访问)
7、测试
   查看sessionId，应该会在原有的sessionId后面加上 .X，X为数字，代表不同的服务器，如hgdjfgdhsgfjhsjhg.1或 hgdjfgdhsgfjhsjhg.2，这时关闭其中一台tomcat，项目可以正常运行，然后启动关闭的tomcat，在关闭另一台tomcat，发现session已经共享，说明集群配置成功