象鼻山から東約2kmの地点に、日吉遺跡という象鼻山古墳群と時期を同じくする集落跡があります。この日吉遺跡の発掘調査では、住居跡や、川の跡などに加え、木製の建築部材や土器、石器など、当時の生活を知ることのできる遺物がたくさん出土しました。
当初、この集落の周囲は、濠で囲まれていましたが、象鼻山3号墳(上円下方壇)の造営と入れ替わるように濠を維持しなくなります。濠には集落を守る役割もあることから、象鼻山3号墳(上円下方壇)の造営は、個別に集落を防御することを不要とする、新たな社会の枠組みが形成されたことを示すものだったかもしれません。
一方、当時の環境は徐々に寒冷化に向かいました。日吉遺跡では、その状況に合わせるように川のそばで祈りを捧げた跡が見つかっています。しかし、その後まもなく、集落を洪水が襲います。当時、日吉遺跡内には東西に流れる川がありましたが、これも大量の土砂で一気に埋没してしまいました。
この時期の環境変動は、当時の養老町に大きな衝撃を与えたようです。