2001年07月18日，北京巴士824路（五路木樨园）延长为五路西红门，同时变更路号为854路。

2002年01月20日，北京巴士854路（五路西红门）延长为畅茜园小区西红门。

2003年04月06日，北京巴士854路（畅茜园小区西红门）调整为香山东路宣颐家园。

2007年04月14日，北京公交集团实施第五批优化公交线网方案，优化拆分长途穿城线路。双层客运分公司854路（香泉环岛宣颐家园）拆分为504路（宣颐家园天坛西门）和505路（香泉环岛航天桥西）。