基于混合系统的单路口交通灯优化控制方法

基于混合系统的单路口交通灯优化控制方法

一、Optimal traffic light control method for a single intersecti on basedon hybrid systems(论文文献综述)

高航,王伟光[1](2021)在《基于深度强化学习的道路信号灯控制算法》文中指出各大城市都存在过十字路口时车辆拥堵现象,为了解决这一问题,提出基于深度强化学习的一种解决算法。该算法针对于这一现象,构建了一种道路信号灯控制的强化学习模型。以单交叉口为仿真参考对象进行仿真,仿真结果表明,上述算法更有利于十字路口的吞吐量,进一步减少路口车辆等待时间,达到了合理调控道路信号灯时间、缓解路口拥堵的目标。

邵明莉,曹鹗,胡铭,章玥,陈闻杰,陈铭松[2](2021)在《面向优先车辆感知的交通灯优化控制方法》文中指出智慧交通灯控制能够有效地改善道路交通的秩序和效率.在城市交通网络中,具有紧急任务的特殊车辆对于通行效率的要求更高.目前已有的智慧交通灯控制算法通常对路网中的所有车辆一视同仁,没有考虑到特殊车辆的优先性;而传统的控制特殊车辆优先通行的方法基本上都是采用信号抢占的方式,对普通车辆的通行干扰过大.为此,提出一种面向优先车辆感知的交通灯优化控制方法,通过与道路环境的不断交互来学习交通灯控制策略,在设置状态和奖励函数时增加特殊车辆的权重,并利用DoubleDQN和DuelingDQN来提升模型表现,最终在城市交通模拟器SUMO中进行仿真实验.在训练趋于稳定之后,与固定时长控制方法的对比实验结果显示,该方法能够将特殊车辆与普通车辆的平均等待时间分别缩短68%与22%左右;与不考虑优先级的方法相比,特殊车辆的平均等待时间也有35%左右的优化.验证了该方法能够在提高车辆通行效率的同时,体现出对特殊车辆的优先处理.同时,实验也表明该方法能够扩展应用于多路口场景中.

薛佩雯[3](2021)在《基于强化学习的公交信号优先控制研究》文中研究指明我国经济的快速发展使得近年来汽车保有量迅速增加、城市交通需求激增,随之带来的交通拥堵问题已严重影响了城市的发展和居民的生活质量。优先发展公共交通是缓解交通拥堵的有效途径之一。现阶段主要从两方面采取公交优先,一方面是从空间的角度出发,例如建设公交专用车道,虽然实现了一定程度的公交优先,但同时限制了社会车辆的通行;另一方面是从时间的角度出发,合理调整交叉口的交通信号配时方案,通过对相位绿灯时间进行调整,将优先通行权给予公交车辆,减少其在交叉口排队等待的时间。本文提出了一种基于强化学习的公交信号优先交通灯控制模型(FRBTL),在保障交叉口正常交通秩序的同时,显着提高公交车辆的运行效率。该模型将最小化公交车辆延误时间作为优化目标,基于雾平台环境下,收集相关交通信息,随后将交通信息传送至雾服务器作进一步的计算和分析,同时结合自适应能力较强的Q学习算法来制定交叉口交通信号配时方案,达到公交优先的目的。论文从单交叉口和多交叉口两方面分别展开研究。首先,在单交叉口层面,将处于排队等待中的公交车数量作为Q学习中的状态,将改变绿灯时长作为Q学习中的动作,适当增加公交车数量较多的相位绿灯时间,使得公交车辆延误时间变小;然后在单交叉口的基础上,进一步在多交叉口层面展开研究,以获得多交叉口间的理想相位差为目标,来对各交叉口的绿灯时长进行调整,尽可能使得车辆在绿灯时间内通过当前交叉口,也会在绿灯时间内通过下一交叉口,大幅度提升公交车辆的运行效率。实验验证采用VISSIM-Excel VBA-MATLAB平台进行仿真,本文提出的方法与不施加公交信号优先的NTSP模型和采用传统公交信号优先的TTSP模型进行了多层次实验对比。仿真结果表明,本文提出的模型可有效降低车辆延误时长特别是公交车辆延误时长,减少交叉口车辆平均排队长度,提高交叉口平均车辆吞吐量和缩短人均延误时长,体现了公交优先思想的同时兼顾了社会车辆的运行,提升了交叉口处理交通流的能力,缓解了交通拥堵。

刘佳佳[4](2021)在《基于模糊逻辑和强化学习的交通信号优化方法设计与实现》文中研究表明近年来,我国社会经济高速发展,城市规模逐渐扩大,伴随而来的是城市中的机动车数量的快速增加,由此造成道路拥堵、交通事故频发、汽车尾气排放污染环境等一系列问题。解决这些问题的关键途径是提升路网的通行能力,通过减少车辆在交叉口的延误时间来提高城市路网的通行效率。在以上背景下,本文设计并实现了三种城市单交叉口的交通信号控制方法,并通过二次开发Sumo仿真软件进行对比分析。(1)设计与实现一种交通灯信号的模糊控制方法。该方法基于四相位定相序对单交叉口交通灯进行控制,采用两层模糊控制系统,第一层模糊控制系统输入为车辆排队数和车辆到达率,输出为当前相位和下一相位交通流强度。第二层模糊控制系统以两个相位的交通流强度作为输入,输出为当前绿灯相位的绿灯延长时间。实验结果表明该方法的控制性能优于Sumo仿真软件自带的定时控制方法与传统模糊控制方法。(2)利用遗传算法来优化模糊控制系统。将模糊规则和隶属度函数参数编码为染色体,以车辆平均等待时间等评价指标构建适应度函数。种群迭代过程中,将个体解码为模糊控制系统的规则和隶属度函数参数,然后利用仿真软件对个体代表的控制系统进行仿真,得到个体评价函数值。在选择过程中加入了精英保留策略来保证最优个体不被破坏。经过遗传算法优化后,模糊控制系统控制交通信号灯的性能得到明显提升。(3)利用强化学习方法解决单交叉口交通信号灯控制问题。该方法充分利用路网传递的交通流参数,将路网截取为位置、速度矩阵,并将其作为输入状态。采取车辆的平均等待时间作为奖励函数,输出相位的持续时间作为动作。求解Q值时,为了解决过度估计问题,采用双竞争深度Q网络算法。实验结果表明,该强化学习方法控制性能优于Sumo自带的定时控制方法。(4)在上述算法的基础上,设计与实现了一个交通信号灯控制仿真系统。该系统包括用户管理、交通元素管理、交通信号灯控制方案仿真、任务管理等功能模块,能够根据单交叉口的车流数据自动决策信号灯的相位周期,为交通管理人员提供易于操作的交通仿真工具。

郭志强[5](2021)在《城市交通灯智能配时优化及仿真研究》文中研究指明随着社会快速发展,人们对交通出行的便利性提出了更高的要求,交通拥堵越来越成为各大城市发展的主要问题。在当下我国交通资源有限的前提下,我国车辆的数量不断增加,使得路口车辆聚集,排队长度过长等交通问题频发,合理的交通信号灯配时方案就显得尤为重要,现阶段的交通配时系统设计方案已经无法在实时性和高效性方面满足需求,为此本文提出了一种新的信号灯配时优化方案。本文从控制科学的角度出发,针对目前采用的交通灯固定配时策略虽然具有简单易行和运用方便等优势,但不能适应车流量变化造成车辆排队过长的问题,首先以单交叉口为研究对象,采用Webster配时法通过检测抵达各个相位总的车流量来调节各个相位最佳的信号周期和和绿灯时间,以此来减少车辆的排队长度,提高道路的通行能力。进而结合PID算法实时高效的特点,可以单独针对某一路口的主干道进行单独调节,对单交叉路口的主干道进行了优化,并将Webster配时法和PID调节的方法分别与静态配时的方法以排队长度为指标做了对比,结果证明Webster配时法和PID调节的方法均能降低路口排队长度,提高通行效率。然后以一条主干道上的道路交叉口为优化研究对象,用Webster配时法和PID调节的方法分别对五个连续的交叉路口进行了优化研究,并分高峰期和低峰期的情况分别进行讨论,运用预调节以及联合调节的思想分别对单路口和干道多个交叉口的主干道进行了动态调节,最后以排队长度为指标将静态配时法、Webster配时法和PID调节法进行了分析对比,结果证明本文所用方法可以实时高效的增强主干道的通行能力,在降低绿灯时间浪费、减少道路口排队长度等方面起到改善和优化作用。

袁伯龙[6](2021)在《基于深度强化学习的信号交叉口智能控制方法研究》文中指出交通拥堵已经成为各大城市可持续发展路上的绊脚石,在当前道路资源和基础设施下,寻求更先进、智能的交通信号控制方法成为最近的流行趋势。得益于人工智能技术的飞速发展,交通信号控制方法也取得了巨大进步,然而现有研究中的交通信号控制方法通常仅考虑了交通流量、车道占有率等传统交通参数进行信号配时方案优化,没有充分利用交通状态的关键信息;另外,关于多个交叉口信号协调控制的研究也较少。因此,为了缓解交通拥堵和提高道路运输效率,同时提升交通信号控制的高效性和可靠性,本文将研究基于深度强化学习的信号交叉口智能控制方法。首先,本文总结分析了深度强化学习在交通信号控制的应用现状,在此基础上,搭建了一个用于信号交叉口智能控制实验的交通仿真平台。该平台以免费开源的微观交通仿真软件SUMO作为底层架构,并使用编程语言Python调用接口TraCI进行二次开发,同时采用Open AI的Stable Baselines库作为实现深度强化学习算法的框架,进而从环境配置、平台架构和功能模块三方面完成了仿真平台的搭建,为后文的研究奠定了基础。其次,针对单路口智能信号控制,本文提出了一种基于改进深度Q学习的方法。该方法详细描述了单路口的交通环境,精确设计了信号智能体的三要素(状态定义为包含平均排队长度、车辆位置和车辆速度的集合,动作定义为每个周期时长内不同相位的绿灯持续时间,奖励定义为系统总延误时间);同时考虑到传统DQN模型的训练效率低下和Q值偏差问题,相应改进了模型架构和折扣系数,并在仿真平台上进行算法验证。通过不同交通条件下的仿真实验证明了所提方法的有效性和优越性。最后,针对多路口智能信号控制,本文提出了一种结合博弈论的深度强化学习信号控制方法。该方法在单路口基础上,通过引入博弈论,设计了一个包含IAMADRL模式和CA-MADRL模式的智能体控制结构;IA-MADRL模式控制用于交通需求未饱和时,CA-MADRL模式控制用于交通需求饱和时,两者之间的切换由控制模式检测模块决定;采用的正则形式博弈有效协调了各交叉口的联合动作,加强了智能体之间的实时交互。通过不同交通需求下的仿真实验证明了所提方法的可靠性和科学性。

武强[7](2020)在《多智能体强化学习在城市交通信号控制中的研究与应用》文中研究指明城市交通拥堵已经对全球经济、环境造成了严重的影响。提升城市交通信号控制效率,是缓解城市交通拥堵相对“高效、低成本”方法之一。因为城市交通环境具有复杂性、不确定性,其内部运行的机理无法精确地进行数学分析建模,所以城市交通信号控制适合采用“数据驱动、自学习、无模型”的强化学习方法(Reinforcement Learning,RL)进行计算和控制。研究人员利用强化学习模型和深度强化学习模型(Deep Reinforcement Learning,DRL)进行了大量的城市交通信号控制研究工作。近些年,随着城市交通信号控制的研究从单个路口的局部优化发展到多个路口的全局优化,基于多智能体强化学习(Multi-Agent Reinforcement Learning,MARL)的方法成为主要的方法模型之一,并在现有城市交通仿真环境中取得了较好的结果。但是,现有的研究仍然存在以下不足:(1)现有的交通仿真环境无法模拟更加接近真实的交通环境,不能完全体现真实城市交通的运行状况,导致城市交通信号仿真控制效果和实际路测效果具有一定差距;(2)针对城市多路口交通信号控制优化MARL算法模型本身的控制效果并不是非常理想,博弈论、通信理论和MARL的组合研究不够深入,算法本身仍具备提升空间;(3)对于城市交信号控制MARL算法在城市多个路口的工业级部署研究还不足。针对以上问题,本文开展了细致的研究并取得如下成果:(1)建立城市多交叉路口交通流量时间序列文本数据集(Multi-Road Traffic Dataset,MTD),构建城市仿真环境(Urban Simulation Environment,USE),实现接近真实路况的多个交叉路口运行情况仿真。(2)促进MARL理论、算法和智能交通应用的深度结合,拓展MARL的应用范围,通过结合纳什均衡理论和通信理论优化城市交通信号控制MARL算法,提出基于纳什均衡的优势行动者评论家算法(Nash-Advantage Actor-Critic,Nash-A2C)、异步优势行动者评论家算法((Nash-Asynchronous Advantage Actor-Critic,Nash-A3C)和多智能体自动通信强化学习算法(Multi-Agent Auto Communication,MAAC)算法;(3)针对MARL算法在城市多个路口的工业级部署研究不足,通过预估交通信号控制智能体的网络传输时延,提出基于云计算、雾计算、边缘计算的混合计算架构的Mixed-MARL算法;(4)综合城市仿真环境、混合计算架构、MARL城市交通信号控制算法,提出城市交通信号控制的综合应用计算框架(General City Traffic Computing System,GCTCS),并组合纳什均衡、多智能体通信、混合计算架构优势,提出组合算法General-MARL。本文构建的城市仿真环境USE使用动态车流量预测的方式,实现了比传统仿真环境更加接近真实情况的效果;提出MARL优化算法(Nash-A2C、NashA3C、MAAC、Mixed-MARL、General-MARL)在仿真环境USE中的实验结果均优于传统基线算法。其中,组合纳什均衡、多智能体通信、混合计算架构的General-MARL算法,在缓解多路口拥堵程度和降低网络时延上,取得了一定程度的成果(超过基线方法23.2%,通信时延降低11.7%)。

武娜[8](2020)在《城市交通路网的分布式协同控制研究》文中认为随着现代社会的飞速发展以及人们出行需求的急剧增长,城市路网的交通拥堵已经成为近几十年来亟待解决的一个问题。交通控制的各种调控手段,包括信号灯控制、匝道流量控制、可变限速控制以及路径引导等已经成为提高交通资源利用率和缓解交通拥堵的有效途径。由于城市交通路网是大规模的复杂系统,如何基于现有的通信资源和计算资源,有效地协调各种控制手段来提高交通路网的运行效率是解决城市交通拥堵的关键。城市交通路网是典型的复杂大系统,具有维数高、不确定性强、目标多样、信息分散等特点。本文采用具有滚动时域优化特征的模型预测控制作为在线优化控制的主要算法,以克服不确定性影响,满足多目标优化的要求。同时采用分布式控制方案取代集中控制,解决大规模路网中传感器和执行机构设置分散造成通信负担大、集中优化求解计算复杂度高等问题。分布式控制把整个路网的优化控制分解为各子路网的优化控制问题,可以有效利用局部信息进行局部控制,降低优化求解的复杂度,但由于子路网之间存在着紧密关联,各子路网的控制相互影响,从而影响整个路网的控制结果。因此,如何协调各子路网的控制来优化整个路网的性能便成为城市交通路网分布式控制要解决的关键问题。本文针对含有主干道的区域路网、较为一般的区域路网以及地面路网和快速路网组成的立体交通路网分别设计了分布式协同控制方案。具体的研究内容如下:·针对城市交通拥堵提出了一种新的衡量指标——流量处理能力,它反映了道路的资源利用率以及道路上下游信号灯之间的协调情况。将流量处理能力作为道路的状态建立了信号灯控制系统的数学模型。针对含有主干道的区域路网,设计了信号灯的“主-从”优化方案,可以解决路网中存在多周期时长信号灯的优化问题,在优化过程中考虑了主干道和次要道路交通流之间的相互影响。由于道路的流量处理能力考虑了更全面的交通信息,基于其设计的控制方案更加合理。另外,提出的“主-从”控制方案适用于含有多条主干道的区域路网的信号灯控制。·基于提出的流量处理能力,针对更为一般的区域路网设计了流量处理能力平衡的信号灯的分布式预测控制方案。通过平衡局部范围内道路的流量处理能力来改善路网中的流量分布,从而提高交通资源的利用率以及路网的通行效率。提出了道路权重的计算方法,在信号灯优化时可以根据道路及其周边道路的交通状况识别出路网中的瓶颈道路,在平衡的过程中通过赋予其优先通行权来提高路网拥堵疏散的速度。·针对地面路网和快速路网组成的立体交通路网设计了分布式协同预测控制策略以及双层递阶预测控制策略。在对立体交通路网的交通流特性进行建模时提出了一种新的方法来刻画地面路网的拥堵对于快速路网通行能力的影响。基于可描述路网之间耦合特性的交通流模型,设计了地面路网和快速路网的分布式协同控制方案,可以抑制地面路网的拥堵以及下匝道的排队溢出对于快速路网交通状态的影响,同时减少了集中控制的计算负担和通信负担,有利于算法的在线应用。为了进一步提高分布式方案的性能,在分布式控制器的上层增加了边界流量控制器,从而协调各子路网之间的转移流量,优化路网中的流量分布。·针对立体交通路网设计了事件驱动的分布式预测控制方案。为了避免在不必要的时候对路网的控制信号进行更新,将事件驱动的控制机制应用到立体交通路网的控制中。考虑到快速路网和地面路网不同的交通流特性,分别为其设计了触发条件,使得各子系统可以依据实时的交通状况判断是否对控制信号进行更新,克服了时间驱动的控制策略的缺点。另外,路网中各子系统的触发条件可以依据各自的特点单独设计,使得控制方案更加灵活和高效。

蔡含宇[9](2020)在《基于道路实时容量的交通灯智能控制算法研究》文中研究指明车辆的日益增加导致交通拥堵频发,使得人们出行时间明显增长、车辆燃料消耗和气体排放量明显增加,不仅影响了人们出行的舒适度还对环境造成了巨大的污染,因此交通拥堵问题亟待解决。交通路口是各向交通流的交汇处,也是交通拥堵频发的地段之一,因此若能在交通路口进行合理、高效地交通灯控制就能有效地预防和缓解交通拥堵。但是大多数自适应交通灯控制方法只考虑路口的车辆排队长度或者交通流量等单一的参数,没有考虑相邻路口交通容量对当前路口的影响;或者只考虑单路口的交通灯控制没有考虑与周围交通灯的协同控制。对于上述问题本文针对交通路口结合雾计算、道路流量处理能力和强化学习理论提出一种基于道路实时容量的交通灯控制算法(RTCR)。该算法在端-边-雾-云平台上设定每个路口对应一个Agent,由于各路口的交通流信息会在雾层进行共享,所以各路口可以获取自己相邻路口的交通流信息来优化自身的交通灯决策。RTCR算法利用道路流量处理能力以及车辆排队长度等信息计算交通灯相位顺序。结合强化学习中的Deep Q-learning Network(DQN)算法、自身路口以及相邻路口交通流信息共同计算、优化当前交通路口的各相位绿灯时长,实现交通灯的智能调控。本文利用Python和VISSIM搭建联合仿真平台,在该平台上分别对单路口控制和多路口控制进行仿真实验。仿真结果表明RTCR与传统的分时段交通灯控制方法、主干道控制方法(ATL)以及基于Q-learning的FRTL控制方法相比,提高了路口吞吐量、减少了车辆平均等待时间,实现了预防和缓解交通拥堵的目标。

曾雅琼[10](2020)在《基于模糊控制的红绿灯配时优化控制及应用》文中研究指明随着经济的快速发展,我国汽车的持有量急剧增加,对交通条件的需求日益扩大。然而,红绿灯配时方案逐渐落后城市交通需求标准,使得交通堵塞问题愈发严重。当前,交通堵塞已逐渐成为制约我国大多数城市实现可持续发展的因素。交叉路口是城市路网中的关键点,交通拥堵常常发生在交叉路口。对交叉路口的红绿灯时长进行适当地调整,不仅可以在一定程度上提高整个城市交通系统的通行能力,还能使出行更安全、方便快捷。本文针对城市交叉路口的实际交通参数在较短时间内可能发生较大的波动这一问题,提出了一种遗传算法来优化模糊控制对绿灯配时方案进行设计,动态调整交叉路口车流通行。首先,本文选取三叉路口及三相位控制作为研究对象,根据各相位的排队长度和车道数确定各相位的通行权优先级,设计路口的相位转换次序,将当前绿灯通行相位的最大排队长度和下一通行相位的车流量作为模糊控制器的输入变量,当前通行相位的绿灯延长时间作为模糊控制器的输出变量,经过模糊推理和清晰化处理得出相应的配时方案,从而对交叉路口各相位的绿灯通行时长进行策略调整。其次,选取交叉路口的车辆延误时间作为评价指标,对其进行分析、建立数学模型,并根据模型构造优化的目标函数。通过遗传算法对模糊控制器中的高斯型隶属函数的中心点和宽度进行编码、种群初始化、适应度函数的选取及其对个体适应度的评估、选择交叉变异等寻优操作,得出最优的隶属度函数,结合仿真验证其可行性。最后,以长沙市某三叉路口为例,采集路口的交通基本数据,采用MATLAB的模糊逻辑验证了规则的有效性,并将优化后的红绿灯配时方案运用到VISSIM交通软件模拟的路口仿真实验中,对比在优化前后的数据,验证了实本文所提出方法的有效性。

二、Optimal traffic light control method for a single intersecti on basedon hybrid systems(论文开题报告)

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、Optimal traffic light control method for a single intersecti on basedon hybrid systems(论文提纲范文)

(1)基于深度强化学习的道路信号灯控制算法(论文提纲范文)

1 引言
2 道路信号灯控制情况介绍
    2.1 交通控制的基本参数
    2.2 交通信号控制评估指标
        1)延误
        2)停车次数
        3)通行能力
        4)旅行时间
    2.3 Webster配时法
        1)车辆延误计算
        2)最佳周期的计算
3 强化学习理论模型
4 基于PPO的单交叉口信号优化控制算法设计
    4.1 单交叉口信号控制的强化学习模型
        4.1.1 状态空间
        4.1.2 动作空间
        4.1.3 奖励函数
        4.1.4 PPO模型的网络结构
    4.2 基于PPO的单交叉口信号优化控制算法
5 仿真分析
    5.1 实验平台与仿真场景设计
        5.1.1 实验平台
        5.1.2 单交叉口交通仿真场景设计
    5.2 仿真参数设置
        5.2.1 路口流量设置
        5.2.2 固定配时法相位方案和Webster配时法相位方案设置
        5.2.3 模型训练参数设置
    5.3 结果分析
        5.3.1 基于强化学习单交叉信号控制效果评估
6 结束语

(2)面向优先车辆感知的交通灯优化控制方法(论文提纲范文)

1相关工作
2提出的方法
    2.1问题定义
        2.1.1状态设置
        2.1.2动作设置
        2.1.3奖励设置
    2.2本文算法
        2.2.1 Q网络结构
        2.2.2模型架构
        2.2.3算法描述
3实验
    3.1实验设计
    3.2实验结果分析
        3.2.1实验1:单路口场景中本文算法与固定时长方法的结果对比
        3.2.2实验2:单路口场景中考虑优先级与不考虑优先级的结果对比
        3.2.3实验3:多路口场景中本文算法的表现
        3.2.4实验分析与总结
4结论与展望

(3)基于强化学习的公交信号优先控制研究(论文提纲范文)

摘要
abstract
1 绪论
    1.1 课题研究背景与意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 国内外研究现状
        1.2.1 智能交通控制系统
        1.2.2 公交信号优先控制策略
    1.3 本文主要研究内容及论文结构
        1.3.1 主要研究内容
        1.3.2 论文结构
    1.4 本章小结
2 相关技术研究背景
    2.1 公交优先
        2.1.1 公交优先理念
        2.1.2 公交优先的分类
        2.1.3 公交信号优先控制策略
    2.2 雾计算
        2.2.1 雾计算概述
        2.2.2 雾计算的应用
    2.3 Q学习
        2.3.1 强化学习
        2.3.2 马尔可夫决策过程
        2.3.3 Q学习
    2.4 交通灯控制基本方式
        2.4.1 定时控制
        2.4.2 感应控制
        2.4.3 自适应控制
    2.5 交通灯控制基本理论
        2.5.1 相位
        2.5.2 周期
        2.5.3 绿灯时长
        2.5.4 绿信比
    2.6 交通信息采集技术
        2.6.1 基于感应线圈的交通信息采集技术
        2.6.2 基于微波的交通信息采集技术
        2.6.3 基于视频的交通信息采集技术
        2.6.4 基于GPS的交通信息采集技术
        2.6.5 基于无线射频识别(RFID)的交通信息采集技术
    2.7 本章小结
3 基于雾平台和强化学习的公交信号优先交通灯控制模型
    3.1 基于雾平台的交通灯控制系统
        3.1.1 数据生成层
        3.1.2 雾层
        3.1.3 云层
    3.2 FRBTL交通灯控制模型
        3.2.1 交通信息采集模块
        3.2.2 配时方案设计模块
        3.2.3 交通灯显示模块
    3.3 FRBTL交通灯配时控制算法思想
    3.4 本章小结
4 基于FRBTL的单交叉口交通灯配时控制
    4.1 基于FRBTL的单交叉口交通灯配时控制算法
        4.1.1 基础绿灯时长计算
        4.1.2 状态信息
        4.1.3 动作选择集
        4.1.4 奖励机制
    4.2 仿真环境及参数设置
        4.2.1 PTV-VISSIM、Excel VBA、MATLAB仿真软件简介
        4.2.2 搭建VISSIM-Excel VBA-MATLAB集成仿真平台
        4.2.3 仿真参数设置
    4.3 仿真结果及其分析
        4.3.1 车辆平均延误时长
        4.3.2 交叉口车辆平均排队长度
        4.3.3 人均延误时长
    4.4 本章小结
5 基于FRBTL的多交叉口交通灯配时控制
    5.1 基于FRBTL的多交叉口交通灯配时控制算法
        5.1.1 多交叉口协同控制条件
        5.1.2 配时约束条件
        5.1.3 基于FRBTL的多路口公交信号优先交通灯配时算法
    5.2 仿真参数设置
    5.3 仿真结果及其分析
        5.3.1 车辆平均延误时长
        5.3.2 交叉口平均车辆吞吐量
        5.3.3 人均延误时长
    5.4 本章小结
6 总结与展望
    6.1 总结
    6.2 展望
致谢
参考文献
攻读学位期间主要研究成果

(4)基于模糊逻辑和强化学习的交通信号优化方法设计与实现(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 模糊控制方法
        1.2.2 演化算法
        1.2.3 强化学习方法
    1.3 论文主要工作
    1.4 论文结构框架
第二章 背景知识介绍
    2.1 模糊控制
        2.1.1 模糊控制理论概述
        2.1.2 模糊控制基本原理
    2.2 遗传算法
        2.2.1 遗传算法理论概述
        2.2.2 遗传算法基本原理
    2.3 强化学习
        2.3.1 强化学习理论概述
        2.3.2 强化学习基本原理
        2.3.3 强化学习关键要素
        2.3.4 强化学习主要算法
    2.4 Sumo仿真软件
    2.5 本章小结
第二章 单交叉口交通信号模糊控制方法的设计与实现
    3.1 单交叉口交通信号灯控制问题
    3.2 模糊控制算法
    3.3 模糊控制系统设计与实现
    3.4 仿真及实验结果分析
    3.5 本章小结
第四章 单交叉口交通信号的遗传模糊控制方法的设计与实现
    4.1 遗传算法优化模糊控制系统
    4.2 染色体编码和初始种群产生
    4.3 个体的评价
    4.4 选择
    4.5 交叉
    4.6 变异
    4.7 仿真及实验结果分析
    4.8 本章小结
第五章 单交叉口交通信号强化学习控制方法的实现
    5.1 3DQN算法
        5.1.1 卷积神经网络CNN
        5.1.2 Dueling DQN
        5.1.3 Target Network
        5.1.4 Double DQN
    5.2 强化学习方法控制交通信号灯
    5.3 仿真及实验结果分析
    5.4 本章小结
第六章 交通信号灯控制仿真系统的设计与实现
    6.1 需求分析及系统设计
        6.1.1 交通元素管理功能
        6.1.2 交通信号灯控制方案仿真功能
        6.1.3 用户管理功能
        6.1.4 用户界面可视化功能
        6.1.5 数据存储
        6.1.6 性能需求
    6.2 系统实现
        6.2.1 用户管理模块的实现
        6.2.2 交通信号灯控制方案仿真模块实现
        6.2.3 交通元素管理模块实现
    6.3 系统测试
    6.4 本章小结
第七章 总结与展望
    7.1 论文总结
    7.2 论文展望
参考文献
致谢
攻读学位期间取得的研究成果

(5)城市交通灯智能配时优化及仿真研究(论文提纲范文)

摘要
abstract
第一章 绪论
    1.1 研究背景
    1.2 研究意义
    1.3 交通信号控制系统在国内外的研究现状
        1.3.1 交通信号控制系统在国外的研究现状
        1.3.2 交通信号控制系统在国内的研究现状
    1.4 论文的主要内容及技术路线
        1.4.1 论文的主要内容
        1.4.2 论文的章节安排
第二章 交通信号控制理论基础
    2.1 交通信号及其通行行为概述
        2.1.1 交叉路口交通信号
        2.1.2 交叉路口通行行为控制
    2.2 交叉路口简介
    2.3 交通信号控制的类型
        2.3.1 按控制方法分类
        2.3.2 按控制范围分类
    2.4 交通信号控制的基本参数
        2.4.1 信号相位
        2.4.2 时间参数
        2.4.3 交通流参数
        2.4.4 性能指标参数
        2.4.5 交通信号控制的设置依据
    2.5 本章小结
第三章 单交叉路口信号配时优化研究
    3.1 交通信号灯配时方法
        3.1.1 Webster配时法
        3.1.2 模糊控制思想
        3.1.3 PID算法
    3.2 Webster算法的设计与验证
        3.2.1 VISSIM简介
        3.2.2 模型的建立与仿真验证
        3.2.3 交叉口信号设置及信息采集点添加
        3.2.4 交通流模型的建立
        3.2.5 仿真验证结果
    3.3 Webster配时法对单路口的调节及与静态配时的对比
    3.4 PID配时优化算法
        3.4.1 信号配时优化模型
        3.4.2 控制方法及思路
        3.4.3 PID配时优化算法单路口仿真验证
    3.5 本章小结
第四章 多交叉路口信号配时优化研究
    4.1 干线交通模型
    4.2 Webster算法的设计与实现
    4.3 Webster配时法对多路口的调节及与静态配时的对比
    4.4 PID配时优化算法对多路口的优化
        4.4.1 高峰期多路口的优化
        4.4.2 低峰期多路口的优化
    4.5 本章小结
总结与展望
    主要工作
    未来展望
参考文献
致谢
攻读学位期间发表的学术论文

(6)基于深度强化学习的信号交叉口智能控制方法研究(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 研究背景及意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 城市交通信号控制技术发展历程
        1.2.1 国外发展历程
        1.2.2 国内发展历程
    1.3 城市交通信号控制方法研究现状
        1.3.1 定时信号控制方法
        1.3.2 感应信号控制方法
        1.3.3 车路协同信号控制方法
        1.3.4 智能(含自适应)信号控制方法
    1.4 主要研究内容
    1.5 组织架构与技术路线
第二章 城市交通信号控制与深度强化学习基本理论
    2.1 城市交通信号控制基本理论
        2.1.1 交通信号控制的定义
        2.1.2 交通信号控制基本概念
        2.1.3 交通信号控制关键参数
        2.1.4 交通信号控制方式划分
        2.1.5 交通信号控制评价指标
    2.2 深度强化学习基本理论
        2.2.1 强化学习基础
        2.2.2 深度学习基础
        2.2.3 深度强化学习
    2.3 本章小结
第三章 面向信号交叉口智能控制的仿真平台搭建
    3.1 微观交通仿真软件介绍
        3.1.1 VISSIM仿真软件简介
        3.1.2 SUMO仿真软件简介
        3.1.3 TESS NG仿真软件简介
        3.1.4 其他主流仿真软件
        3.1.5 仿真软件对比分析及选择
    3.2 深度强化学习编程语言及框架介绍
        3.2.1 Matlab及其深度强化学习框架
        3.2.2 Python及其深度强化学习框架
        3.2.3 学习框架的选择
    3.3 集成SUMO和Python的信号交叉口智能控制仿真平台
        3.3.1 仿真环境配置
        3.3.2 平台架构搭建
        3.3.3 功能模块设计
    3.4 本章小结
第四章 单路口深度强化学习信号控制
    4.1 引言
    4.2 深度强化学习框架下交通信号控制问题描述
        4.2.1 环境描述
        4.2.2 状态表示
        4.2.3 动作空间
        4.2.4 奖励函数
    4.3 基于改进深度Q学习的交通信号控制方法
        4.3.1 深度Q学习
        4.3.2 改进的深度Q学习
    4.4 仿真实验与结果分析
        4.4.1 实验场景及参数设置
        4.4.2 结果分析
    4.5 本章小结
第五章 结合博弈论的多路口深度强化学习信号控制
    5.1 引言
    5.2 博弈论概述
        5.2.1 博弈论方法
        5.2.2 博弈论在交通信号控制中的应用
    5.3 结合博弈论的多路口深度强化学习信号控制方法
        5.3.1 智能体控制结构
        5.3.2 控制模式检测
        5.3.3 独立动作MADRL
        5.3.4 正则形式博弈下的协调动作MADRL
        5.3.5 智能体间的通信
    5.4 仿真实验与结果分析
        5.4.1 实验场景及参数设置
        5.4.2 结果分析
    5.5 本章小结
第六章 总结与展望
    6.1 研究结论
    6.2 研究展望
致谢
参考文献
在学期间发表的论文和取得的学术成果

(7)多智能体强化学习在城市交通信号控制中的研究与应用(论文提纲范文)

中文摘要
Abstract
第一章 绪论
    1.1 研究背景和研究意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 城市交通信号控制理论及其发展现状
        1.2.1 城市交通信号控制基本概念
        1.2.2 城市交通信号控制方法
        1.2.3 强化学习在城市交通信号控制上的研究和应用
        1.2.4 多智能体强化学习在城市交通信号控制上的研究和应用
    1.3 国内外研究现状
        1.3.1 国外研究
        1.3.2 国内研究
        1.3.3 现有研究的不足
    1.4 本文主要研究内容、创新点、组织结构
        1.4.1 主要研究内容
        1.4.2 创新点
        1.4.3 组织结构
第二章 多智能体强化学习理论和算法
    2.1 人工智能概述
        2.1.1 机器学习
        2.1.2 深度学习
    2.2 单智能体强化学习理论和算法
        2.2.1 单智能体强化学习理论
        2.2.2 单智能体强化学习主要算法
        2.2.3 深度强化学习理论
        2.2.4 深度强化学习主要算法
    2.3 多智能体深度强化学习理论和算法
        2.3.1 多智能体强化学习理论
        2.3.2 多智能体强化学习典型算法
    2.4 本章小结
第三章 基于真实数据的城市多交叉路口仿真平台优化
    3.1 构建城市交通流量数据集
        3.1.1 数据预处理
        3.1.2 目标检测算法介绍
        3.1.3 基于迁移学习的车辆目标检测算法
        3.1.4 生成城市多交叉路文本数据集
    3.2 基于图卷积网络和生成对抗网络的城市交通流量预测
        3.2.1 基础理论
        3.2.2 交通流量预测问题
        3.2.3 GCN-GAN模型结构和算法
        3.2.4 实验过程和结果
        3.2.5 实验小结
    3.3 构建基于真实交通流量的城市多交叉路口仿真实验平台
        3.3.1 城市交通仿真系统简介
        3.3.2 构建基于真实交通流量的城市多交叉路口仿真平台
    3.4 本章小结
第四章 基于纳什均衡的多智能体强化学习交通信号控制
    4.1 纳什均衡理论基本概念
        4.1.1 博弈论概述
        4.1.2 纳什均衡理论
        4.1.3 纳什算子
    4.2 多交叉路口交通信号控制问题
        4.2.1 从博弈论到多智能体强化学习
        4.2.2 多交叉路口交通信号控制问题定义
    4.3 基于纳什均衡的优势行动者评论家算法
        4.3.1 算法背景
        4.3.2 算法目标
        4.3.3 Nash-A2C算法
        4.3.4 Nash-A3C算法
    4.4 仿真实验和结果
        4.4.1 仿真环境设置
        4.4.2 网络参数设置
        4.4.3 实验过程
        4.4.4 实验结果
        4.4.5 实验小结
    4.5 本章小结
第五章 基于自学习通信协议的多交叉路口交通信号控制
    5.1 多智能体通信简介
        5.1.1 背景介绍
        5.1.2 基本概念
        5.1.3 多智能体通信模型
    5.2 多智能体通信问题
        5.2.1 MARL中多智能体通信的问题
        5.2.2 多智能通信与交通信号控制问题
    5.3 MAAC算法模型
        5.3.1 智能体通信模块
        5.3.2 MAAC通信过程
        5.3.3 MAAC算法步骤
    5.4 仿真实验和结果
        5.4.1 仿真环境设置
        5.4.2 网络参数设置
        5.4.3 实验过程
        5.4.4 实验结果
        5.4.5 实验小结
    5.5 本章小结
第六章 基于混合计算架构的多智能体强化学习算法
    6.1 背景介绍
        6.1.1 物联网
        6.1.2 云计算
        6.1.3 边缘计算
        6.1.4 雾计算
    6.2 问题定义
        6.2.1 多智能体交通信号控制问题
        6.2.2 网络带宽和通信时延问题
    6.3 基于边缘计算、雾计算、云计算的混合计算架构
    6.4 基于混合计算架构的多智能体强化学习算法
        6.4.1 边缘计算节点
        6.4.2 雾计算节点
        6.4.3 云计算中心
        6.4.4 Mixed-MARL信息处理流
        6.4.5 Mixed-MARL算法
    6.5 仿真实验和结果
        6.5.1 仿真环境设置
        6.5.2 Mixed-MARL网络参数设置
        6.5.3 实验过程
        6.5.4 实验结果
        6.5.5 综合分析
        6.5.6 实验小结
    6.6 本章小结
第七章 多智能体城市交通计算综合应用
    7.1 背景介绍
    7.2 城市交通信号控制的综合应用计算框架
        7.2.1 构建混合计算框架
        7.2.2 构建城市交通真实环境
        7.2.3 构建城市交通仿真环境
    7.3 城市多交叉路口交通信号控制组合算法
        7.3.1 算法背景
        7.3.2 算法过程
    7.4 仿真实验和结果
        7.4.1 GCTCS环境设置
        7.4.2 General-MARL网络参数设置
        7.4.3 实验过程
        7.4.4 实验结果
        7.4.5 综合分析
        7.4.6 实验小结
    7.5 本章小结
第八章 总结和展望
    8.1 本文总结
    8.2 后续展望
参考文献
在学期间的研究成果
致谢

(8)城市交通路网的分布式协同控制研究(论文提纲范文)

摘要
abstract
主要符号对照表
第一章 绪论
    1.1 引言
    1.2 城市交通路网的控制方法概述
        1.2.1 地面路网的信号灯控制
        1.2.2 快速路网的控制方法
        1.2.3 立体交通路网的控制方法
    1.3 城市交通路网的分布式控制研究现状
        1.3.1 城市交通路网的常用控制结构
        1.3.2 城市交通路网的分布式控制
    1.4 存在的问题和本文研究工作
第二章 基于流量处理能力的主从道路信号灯的预测控制
    2.1 引言
    2.2 一种新的拥堵评价指标——流量处理能力
        2.2.1 道路的输入需求
        2.2.2 道路的输入能力
        2.2.3 道路的流量处理能力
    2.3 含有主干道的区域路网信号灯的预测控制
        2.3.1 主从道路信号灯的控制系统建模
        2.3.2 主从道路信号灯的预测控制器设计
        2.3.3 仿真分析与验证
    2.4 本章小结
第三章 流量处理能力平衡的区域路网信号灯的分布式控制
    3.1 引言
    3.2 流量处理能力平衡的优化问题描述
    3.3 子系统流量处理能力平衡的分布式预测控制
        3.3.1 子系统划分
        3.3.2 子系统的预测控制器设计
        3.3.3 仿真分析与验证
    3.4 区域流量处理能力平衡的分布式预测控制
        3.4.1 基于非线性交通流模型的子系统建模
        3.4.2 区域流量处理能力平衡的子系统的控制器设计
        3.4.3 仿真分析与验证
    3.5 本章小结
第四章 立体城市交通路网的协同控制
    4.1 引言
    4.2 立体城市交通网络的预测控制
        4.2.1 立体交通路网的交通流模型
        4.2.2 立体交通路网的目标函数
        4.2.3 立体交通路网的约束条件
        4.2.4 立体交通路网的优化问题描述
    4.3 立体城市交通网络的分布式控制策略
        4.3.1 立体城市交通网络的子系统划分
        4.3.2 子系统的交通流模型
        4.3.3 立体交通路网的分布式预测控制器设计
        4.3.4 仿真分析与验证
    4.4 立体城市交通网络的两层递阶控制策略
        4.4.1 上层控制器设计
        4.4.2 下层控制器设计
        4.4.3 仿真分析与验证
    4.5 本章小结
第五章 事件驱动的立体城市交通路网的分布式控制
    5.1 引言
    5.2 事件驱动分布式控制器的工作机制
        5.2.1 子系统的优化
        5.2.2 子系统间的传递信息
    5.3 事件驱动立体交通路网控制的触发条件设计
        5.3.1 地面路网子系统的触发条件设计
        5.3.2 快速路网子系统的触发条件设计
    5.4 仿真分析与验证
        5.4.1 仿真环境设置
        5.4.2 平均触发时间间隔
        5.4.3 仿真结果分析
    5.5 本章小结
第六章 总结与展望
    6.1 全文总结
    6.2 展望
参考文献
致谢
攻读学位期间发表的学术论文
攻读学位期间参与的项目

(9)基于道路实时容量的交通灯智能控制算法研究(论文提纲范文)

摘要
英文摘要
1 绪论
    1.1 研究背景与意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 国内外研究现状
        1.2.1 自适应控制系统
        1.2.2 自适应交通灯控制算法
    1.3 主要研究内容
    1.4 论文结构
2 相关理论与技术概述
    2.1 雾计算
        2.1.1 雾计算概述
        2.1.2 雾计算的应用
    2.2 强化学习
        2.2.1 强化学习基本原理
        2.2.2 马尔可夫决策过程
        2.2.3 Q-learning算法
    2.3 深度强化学习
        2.3.1 深度强化学习基本原理
        2.3.2 DQN算法
    2.4 交通灯控制基础理论
    2.5 交通灯控制方式
    2.6 本章小结
3 基于端-边-雾-云体系与强化学习的交通灯智能调控机制
    3.1 基于端-边-雾-云体系的交通灯管理系统
    3.2 道路流量处理能力
    3.3 基于强化学习中DQN算法的交通灯控制机制
    3.4 本章小结
4 基于道路实时容量的单路口交通灯控制算法
    4.1 单路口控制算法
    4.2 仿真环境及参数设置
        4.2.1 VISSIM与 Python的简介
        4.2.2 搭建VISSIM-Python仿真平台
        4.2.3 仿真参数
    4.3 仿真结果与分析
    4.4 本章小结
5 基于道路实时容量的多路口交通灯控制算法
    5.1 多路口控制算法
    5.2 仿真环境及参数设置
    5.3 仿真结果与分析
    5.4 本章小结
6 总结与展望
    6.1 总结
    6.2 展望
致谢
参考文献
攻读学位期间主要研究成果

(10)基于模糊控制的红绿灯配时优化控制及应用(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 选题背景及意义
    1.2 红绿灯配时研究的发展现状
        1.2.1 国外红绿灯配时的发展现状
        1.2.2 国内红绿灯配时的发展现状
    1.3 论文主要工作及内容安排
    1.4 本章小结
第二章 预备知识
    2.1 模糊集合理论
    2.2 红绿灯配时的相关理论
        2.2.1 红绿灯配时的基本参数
        2.2.2 红绿灯控制系统的评价指标
        2.2.3 交叉口交通控制方式
    2.3 遗传算法简介
    2.4 本章小结
第三章 红绿灯配时的模糊控制器设计
    3.1 三叉路口三相位控制
    3.2 相序设计
    3.3 红绿灯配时模糊控制器的设计
        3.3.1 红绿灯配时的模糊控制
        3.3.2 基本流程
        3.3.3 模糊控制器的设计
    3.4 本章小结
第四章 基于遗传算法的红绿灯配时模糊控制器优化
    4.1 车辆延误时间模型
    4.2 基于遗传算法的隶属度函数优化
        4.2.1 基于交叉路口车辆延误时间的目标函数设计
        4.2.2 模糊控制器隶属函数的优化
    4.3 优化结果与分析
    4.4 本章小结
第五章 基于VISSIM的红绿灯配时优化控制仿真
    5.1 红绿灯配时优化控制仿真
        5.1.1 路口数据的采集与处理
        5.1.2 MATLAB仿真及分析
        5.1.3 VISSIM模拟路口仿真
    5.2 配时方案
    5.3 结果对比
    5.4 本章小结
总结与展望
参考文献
致谢
附录A (攻读硕士学位期间发表论文与申请专利)
附录B (攻读硕士学位期间参与项目)
附录C (攻读硕士学位期间获得的奖励)

四、Optimal traffic light control method for a single intersecti on basedon hybrid systems(论文参考文献)

  • [1]基于深度强化学习的道路信号灯控制算法[J]. 高航,王伟光. 计算机仿真, 2021(10)
  • [2]面向优先车辆感知的交通灯优化控制方法[J]. 邵明莉,曹鹗,胡铭,章玥,陈闻杰,陈铭松. 软件学报, 2021(08)
  • [3]基于强化学习的公交信号优先控制研究[D]. 薛佩雯. 西安理工大学, 2021(01)
  • [4]基于模糊逻辑和强化学习的交通信号优化方法设计与实现[D]. 刘佳佳. 北京邮电大学, 2021(01)
  • [5]城市交通灯智能配时优化及仿真研究[D]. 郭志强. 青岛科技大学, 2021(01)
  • [6]基于深度强化学习的信号交叉口智能控制方法研究[D]. 袁伯龙. 重庆交通大学, 2021
  • [7]多智能体强化学习在城市交通信号控制中的研究与应用[D]. 武强. 兰州大学, 2020(04)
  • [8]城市交通路网的分布式协同控制研究[D]. 武娜. 上海交通大学, 2020(01)
  • [9]基于道路实时容量的交通灯智能控制算法研究[D]. 蔡含宇. 西安理工大学, 2020(01)
  • [10]基于模糊控制的红绿灯配时优化控制及应用[D]. 曾雅琼. 长沙理工大学, 2020(07)

标签:;  ;  ;  ;  ;  

基于混合系统的单路口交通灯优化控制方法
下载Doc文档

猜你喜欢