C114首页 | 新闻 技术 市场 会展 黄页 人物 | 3G NGN VoIP IPTV WiMax FTTH |          通信人家园 | 通信人博客 | 通信商情网 | 通信人才网 | English
近期导读

·由李一男去百度想到的

·移动广电的手机电视合作

·小灵通时代即将结束!

  技术 - 学院 - 网络基础 - 正文
apache+tomcat+mysql 的负载平衡和集群技术.
 
( 2008/3/7 10:48 )
本文关键字: 测试15, 局域网3, 网络2, 服务器8, Cache2

公司开发了一个网站,估计最高在线人数是3万,并发人数最多100人。开发的网站是否能否承受这个压力,如何确保网站的负荷没有问题,经过研究决定如下:

(1) 采用负载平衡和集群技术,初步机构采用Apache+Tomcat的机群技术。

(2) 采用压力测试工具,测试压力。工具是Loadrunner。

硬件环境搭建:

为了能够进行压力测试,需要搭建一个环境。刚开始时,测试在公司局域网内进行,但很快发现了一个问题,即一个脚本的压力测试结果每次都不一样,并且差别很大。原来是受公司网络的影响,于是决定搭建一个完全隔离的局域网测试。搭建后的局域网配置如下:

(1) 网络速度:100M

(2) 三台服务器

负载服务器 :操作系统windows2003,

Tomcat服务器:操作系统windows2000 Professional

数据库服务器:操作系统windows2000 Professional

三台机器的cpu 2.4 G, 内存 1G。

软件环境搭建:

软件的版本如下:

Apache 版本:2.054,

Tomcat5.0.30,

mysql :4.1.14.

JDK1.5

压力测试工具:Loadrunner7.8。 

负载平衡方案如下:

一台机器(操作系统2003)安装apache,作为负载服务器,并安装tomcat作为一个worker;一个单独安装tomcat,作为第二个worker;剩下的一台单独作为数据库服务器。

Apache和tomcat的负载平衡采用JK1.2.14(没有采用2.0,主要是2.0不再维护了)。

集群方案:

采用Tomcat本身的集群方案。在server.xml配置。

压力测试问题:

压力测试后,发现了一些问题,现一一列出来:

(1) 采用Tocmat集群后,速度变得很慢。因为集群后,要进行session复制,导致速度较慢。Tomcatd的复制,目前不支持application复制。复制的作用,主要用来容错的,即一台机器有故障后,apache可以把请求自动转发到另外一个机器。在容错和速度的考虑上,我们最终选择速度,去掉了Tomcat集群。

(2) 操作系统最大并发用户的限制:

为了采用网站的压力,我们开始的时候,仅测试Tomcat的最大负载数。Tomcat服务器安装的操作系统是windows2000 Professional。当我们用压力测试工具,并发测试时,发现只要超过15个并发用户,会经常出现无法连接服务器的情况。经过研究,发现是操作系统的问题:windows2000 Professional 支持的并发访问用户有限,默认的好像是15个。于是我们把操作系统全部采用windows2003 server版本。

(3) 数据库连接池的问题:

测试数据库连接性能时,发现数据库连接速度很慢。每增加一些用户,连接性能就差了很多。我们采用的数据库连接池是DBCP,默认的初始化为50个,应该不会很慢吧。查询数据库的连接数,发现初始化,只初始化一个连接。并发增加一个用户时,程序就会重新创建一个连接,导致连接很慢。原因就在这里了。如何解决呢?偶尔在JDK1.4下的Tomcat5.0.30下执行数据库连接压力测试,发现速度很快,程序创建数据库连接的速度也是很快的。看来JDK1.5的JDBC驱动程序有问题。于是我们修改 JDK的版本为1.4.

(4) C3P0和DBCP

C3P0是Hibernate3.0默认的自带数据库连接池,DBCP是Apache开发的数据库连接池。我们对这两种连接池进行压力测试对比,发现在并发300个用户以下时,DBCP比C3P0平均时间快1秒左右。但在并发400个用户时,两者差不多。

速度上虽然DBCP比C3P0快些,但是有BUG:当DBCP建立的数据库连接,因为某种原因断掉后,DBCP将不会再重新创建新的连接,导致必须重新启动Tomcat才能解决问题。DBCP的BUG使我们决定采用C3P0作为数据库连接池。

调整后的方案:

操作系统Windows2003 server版本

JDK1.4

Tomcat 5.0.30

数据库连接池C3P0

仅采用负载平衡,不采用集群。

软件的配置:

Apache配置:主要配置httpd.conf和新增加的文件workers.properties

Httpd.conf:

#一个连接的最大请求数量

MaxKeepAliveRequests 10000 

#NT环境,只能配置这个参数来提供性能

<IfModule mpm_winnt.c> 

#每个进程的线程数,最大1920。NT只启动父子两个进程,不能设置启动多个进程

ThreadsPerChild 1900 

每个子进程能够处理的最大请求数

MaxRequestsPerChild 10000

</IfModule>

# 加载mod_jk

# LoadModule jk_module modules/mod_jk.so

#

# 配置mod_jk

#

JkWorkersFile conf/workers.properties

JkLogFile logs/mod_jk.log

JkLogLevel info
#请求分发,对jsp文件,.do等动态请求交由tomcat处理
DocumentRoot "C:/Apache/htdocs"
JkMount /*.jsp loadbalancer
JkMount /*.do loadbalancer
JkMount /servlet/* loadbalancer
#关掉主机Lookup,如果为on,很影响性能,可以有10多秒钟的延迟。
HostnameLookups Off
#缓存配置
LoadModule cache_module modules/mod_cache.so
LoadModule disk_cache_module modules/mod_disk_cache.so
LoadModule mem_cache_module modules/mod_mem_cache.so

<IfModule mod_cache.c>
CacheForceCompletion 100
CacheDefaultExpire 3600
CacheMaxExpire 86400
CacheLastModifiedFactor 0.1

<IfModule mod_disk_cache.c>
CacheEnable disk /
CacheRoot c:/cacheroot
CacheSize 327680
CacheDirLength 4
CacheDirLevels 5
CacheGcInterval 4
</IfModule>
<IfModule mod_mem_cache.c>
CacheEnable mem /
MCacheSize 8192
MCacheMaxObjectCount 10000
MCacheMinObjectSize 1
MCacheMaxObjectSize 51200
</IfModule>
</IfModule>
worker. Properties文件
#
# workers.properties ,可以参考
http://jakarta.apache.org/tomcat/connectors-doc/config/workers.html 
# In Unix, we use forward slashes:
ps=

# list the workers by name

worker.list=tomcat1, tomcat2, loadbalancer

# ------------------------
# First tomcat server
# ------------------------
worker.tomcat1.port=8009
worker.tomcat1.host=localhost
worker.tomcat1.type=ajp13

# Specify the size of the open connection cache.
#worker.tomcat1.cachesize

#
# Specifies the load balance factor when used with
# a load balancing worker.
# Note:
# ----> lbfactor must be > 0
# ----> Low lbfactor means less work done by the worker.
worker.tomcat1.lbfactor=900

# ------------------------
# Second tomcat server
# ------------------------
worker.tomcat1.port=8009
worker.tomcat1.host=202.88.8.101
worker.tomcat1.type=ajp13

# Specify the size of the open connection cache.
#worker.tomcat1.cachesize

#
# Specifies the load balance factor when used with
# a load balancing worker.
# Note:
# ----> lbfactor must be > 0
# ----> Low lbfactor means less work done by the worker.
worker.tomcat1.lbfactor=2000

# ------------------------
# Load Balancer worker
# ------------------------

#
# The loadbalancer (type lb) worker performs weighted round-robin
# load balancing with sticky sessions.
# Note:
# ----> If a worker dies, the load balancer will check its state
# once in a while. Until then all work is redirected to peer
# worker.
worker.loadbalancer.type=lb
worker.loadbalancer.balanced_workers=tomcat1,tomcat2

#
# END workers.properties
#

Tomcat1配置:
<!--配置server.xml
去掉8080端口,即注释掉如下代码:-->
<Connector 
port="8080" maxThreads="150" minSpareThreads="25" maxSpareThreads="75"
enableLookups="false" redirectPort="8443" acceptCount="100"
debug="0" connectionTimeout="20000" 
disableUploadTimeout="true" />

<!--配置8009端口如下:-->
<Connector port="8009" 
maxThreads="500" minSpareThreads="400" maxSpareThreads="450"
enableLookups="false" redirectPort="8443" debug="0"
protocol="AJP/1.3" />
<!--配置引擎--> 
<Engine name="Catalina" defaultHost="localhost" debug="0" jvmRoute="tomcat1">

启动内存配置,开发configure tomcat程序即可配置:
Initial memory pool: 200 M
Maxinum memory pool:300M
Tomcat2配置:
配置和tomcat1差不多,需要改动的地方如下:
<!--配置引擎--> 
<Engine name="Catalina" defaultHost="localhost" debug="0" jvmRoute="tomcat2">

启动内存配置,开发configure tomcat程序即可配置:
Initial memory pool: 512 M
Maxinum memory pool:768M
Mysql配置:
Server类型:Dedicated MySQL Server Machine 
Database usage:Transational Database Only
并发连接数量:Online Transaction Processing(OLTP)
字符集:UTF8
数据库连接池的配置:
我们采用的是spring 框架,配置如下:
<property name="hibernateProperties">
<props>
<prop key="hibernate.dialect">org.hibernate.dialect.MySQLDialect</prop>
<prop key="hibernate.connection.driver_class">com.mysql.jdbc.Driver</prop>
<prop key="hibernate.connection.url">jdbc:mysql://202.88.1.103/db</prop> 
<prop key="hibernate.connection.username">sa</prop>
<prop key="hibernate.connection.password"></prop>

<prop key="hibernate.show_sql">false</prop>
<prop key="hibernate.use_sql_comments">false</prop>

<prop key="hibernate.cglib.use_reflection_optimizer">true</prop>
<prop key="hibernate.max_fetch_depth">2</prop>

<prop key="hibernate.c3p0.max_size">200</prop>
<prop key="hibernate.c3p0.min_size">5</prop>
<prop key="hibernate.c3p0.timeout">12000</prop>
<prop key="hibernate.c3p0.max_statements">50</prop>
<prop key="hibernate.c3p0.acquire_increment">1</prop> 
</props>
</property>

其他的没有额外配 

作者:yzhxy    来源:http://www.chinaunix.net
  你是通信人才吗? C114通信人才网
  是通信人才就要上专业通信人才网! 专业、高效、低成本、资源广!
  助你迅速找到满意工作! 拥有中国最全的通信行业人才数据库资源。
C114-AdKey 行业广告系统 
C114 提醒您:1.尊重网上道德,遵守国家的各项法律法规;2.承担一切因为您的行为而导致的相关法律责任;

3.新闻留言板管理人员有权删减留言中的内容;4.您在留言板发表的作品,C114有权站内转载。

[参与本留言即表明您已经阅读并接受上述条款]

 
Copyright©1999-2008 c114 All Right Reserved
上海荧通网络信息技术有限公司版权所有
南方广告业务部: 021-54451141,54451142 E-mail:c114@c114.net
北方广告业务部: 010-63533177,63533977 E-mail:shi@c114.net.cn
编辑部联系:021-54451141,54451142 E-mail:editor@c114.net.cn
服务热线:021-54451141,54451142