先后兵败投降，徐世绩、王要汉抵挡不住，放弃陈留、阳翟，退守荥阳。窦建德屯兵在成皋东，在荥阳东北的板渚修筑行宫，并派使臣告知王世充；王世充再次称帝，派其弟王世辩、大将郭士衡等带兵两万人，连续占领巩县和洛口仓，东击虎牢关。
目前镇守虎牢关的是悄悄调动过来的杨延石虎步营，作为杨崇的嫡系，配备了五百人的霹雳营，徐世绩还留下沈悦、和两千瓦岗老兵。杨延石直接射杀了来劝降的郑军军官，一声令下，全军上城，开始防御。
郭士衡指挥郑军架起一百多座云梯，鼓噪呐喊而进；云梯三面用牛皮包住木板遮护，可以抵挡弓箭。每座云梯上三十名士兵，顺着短梯软索攀登。杨延石下令近的火箭射击，远的云梯用投石机攻打，云梯不是烧着就是被大石块打断，短梯软索上的士兵被石灰滚油所伤，根本无法攻上城楼。