1924年04月，宁垣长途汽车公司新辟下关车站至门帘桥公共汽车，起讫站为下关车站门帘桥（太平南路），为南京市内开办公共汽车线路之伊始。线路经三牌楼、鼓楼、珍珠桥、大行宫，与今31路之走向大致相同。

1960年08月01日，市公交公司新辟电车1路，起讫站为山西路新街口。

1965年，为规范市区公共汽电车线路番号，市公交公司电车1路更名为电车31路，电车2路更名为电车32路，电车12路更名为电车33路。

1989年04月01日，南京市公交公司整体改制为南京市公共交通总公司。

1996年02月10日，公交总公司电车31路（下关火车站建康路）实施电改汽，番号同步调整为31路。

2019年11月01日，因南京公交集团整体改制，原江南公交第五巴士公司负责运营的6路、10路、12路、18路、22路、24路、30路、31路、34路、53路、54路、78路、95路、117路、118路、134路、162路、302路、307路、337路、Y2路、Y9路、Y10路、Y15路整建制并入改制后的第一客运公司（原第一巴士公司）运营管理，第五巴士公司不再保留。

2021年05月01日，南京公交集团第一客运公司3路、10路、12路、31路、34路、53路、63路、134路、134路高峰区间、302路、318路划归第四客运公司运营管理。

2021年12月08日，因郑和中路与中山北路交叉口处污水管线施工，南京公交31路、34路、Y9路、Y10路、Y15路原“中山码头”下客站临时调整至中山码头北。【至2022年3月13日恢复】