競艇場からさらに十分ほど走ると、バスは芦屋の町に入った。バス通りの両側には商店街が並んでいるが、地方の町では見慣れたシャッター通りとなっている。
　日本書紀や古事記、さらには万葉集にも記されている港町芦屋。古代の港町が色街と結びついていたことを考えれば、色街としての歴史も九州において最古といえるかもしれない。
　日本書紀に芦屋が登場するのは、神武天皇の東征に関する記述の中である。日向（ひゅうが）の国を出た神武天皇は東征の途上、芦屋に立ち寄っている。「天皇、筑紫国の岡水門に至りたまふ」という岡水門が芦屋のことだ。
　神武天皇が実在したのか、果たして東征が行われたのか、未だに議論は絶えないが、はっきりしていることは、日本という国の成立とも密接な関係のある芦屋の歴史の深さである。紀元前十世紀には稲作が大陸から北九州に伝わっているが、芦屋のある遠賀川流域は、弥生時代前期にはすでに稲作が盛んであり、稲作の伝播とともに伝わったとされる遠賀川式土器が発見された場所でもある。
　稲作によってもたらされる米は、日本人の食卓に欠かせないものであり、生活の安定とともに田楽などの様々な文化を育んだ。一方で人々は土地に縛られるようになり、土地をめぐる争いや持つ者と持たざる者の格差が生まれた。芦屋のある北九州を最初に、環濠集落が築かれるようになり、『魏志倭人伝』に記された奴国（なこく）や一支国（いきこく）といった古代国家が成立した。
　古代国家の中には、他国との争いを優位に進めようという思惑などから、大陸の魏（ぎ）や隋（ずい）など中国に成立していた国家と積極的に交流を持つ国があった。古代の北九州から大陸へと繋がる窓口のひとつが岡水門と呼ばれた芦屋だった。
　古代から江戸時代まで、芦屋が港として栄えたのは、玄界灘を吹き渡る北風を防ぐことができたことと、船を留められる大きな入江となっていたこと、そして商業地として栄えた博多や下関の中間地点になっていたことにあった。江戸時代には、福岡藩が年貢などを集積する蔵所にもなり、芦屋千軒と呼ばれたほどだった。さらに、港としてだけではなく、唐津と下関を結ぶ唐津街道の宿場町にもなり、陸と海の交通の要衝でもあった。
　ところが、一七六二（宝暦十二）年に堀川運河が完成すると福岡藩の蔵所が移転してしまう。明治時代に入り石炭の積み出し港として再び脚光を浴びるが、若松や門司に鉄道が敷かれると、町は衰退へと向かう。