寛弘七年（1010年）正月元旦。遠江国井伊谷の八幡宮神主が、御手洗の井の傍らに男児の捨て子を発見した。その子の顔立ちは端麗で瞳が明るく、聡明で貴人の相があったという。しばらくは神主の手で育てられたその子は、七歳の時、遠江国司藤原共資の養子となり、藤原共保（ともやす）と名乗るようになった。
やがて成人した共保は故郷の井伊谷に館を構えるようになり、地名にちなんで家名を「井伊」と改めた。井伊家の始まりである。
井伊共保生誕の井の側には橘が生えていた。諸説あるが（注1）その逸話から、後の彦根井伊家では、「彦根井筒」や「彦根橘」と呼ばれる家紋を取り入れている。

平安時代中ごろから井伊氏は武功をあげ、井伊谷を中心に勢力を拡大していった。
鎌倉時代には日本八介（はちすけ）（注2）の一つ井伊介（いいのすけ）を名乗っていた。井伊介は遠江国を代表する有力領主であった。

南北朝時代には、南朝方に加勢。敗戦を喫する。以後、敵対していた今川氏の支配下に置かれ受難の時代が続く。

戦国時代、今川氏に反旗を翻すが敗戦。再び支配に置かれる。
天文元年（1532年）井伊家二十代直平が井伊谷に龍泰寺を建立。永禄三年（1560年）、今川義元軍に加えられていた直平の孫、井伊家二十二代直盛は桶狭間で織田信長軍と奮戦。討ち死にする。後にその法名「龍潭寺殿（りょうたんじでん）」にちなみ、寺名を龍潭寺と改め、現在にまで伝わっている。
直盛には実子がなく、従兄弟の直親を養子に迎えていた。桶狭間の合戦の翌年、その直親に子が生まれた。「虎松」と幼名がつけられた。
その翌年、今度は、直親が徳川家康と懇意にしていることに腹を立てた今川氏真が、直親を謀殺。幼い虎松が残された。当主不在となるため、七十五歳という高齢で直平（虎松の曽祖父にあたる）が再び当主となるが、これもすぐに毒殺されてしまう。
永禄八年（1565年）、ついに井伊家では当主となる男子がいなくなり、虎松もまだ五歳と幼かったので、虎松の祖父直盛の娘、次郎法師が当主の役目を担った。次郎法師は虎松を育てながら、国政もおこない、女性地頭（注3）と呼ばれた。 永禄十一年（1568年）、徳川家康の進攻が始まり、井伊家もその軍門に下る。この時、虎松は奥三河まで逃れ、そこで八歳から十四歳までを過ごすことになる。
天正三年（1575年）、虎松十五歳。徳川家康の家臣となることを決心する。家康が鷹狩りに出掛けた際に、虎松はつてを使って接見。家康は、虎松の父、直親が家康に味方しようとしたために謀殺されたことを覚えており、その罪滅ぼしも兼ねて虎松を家臣に加えた。
虎松は家康より万千代という名をもらい、戦国時代を駆け抜けていくこととなる。やがて成人した万千代は、井伊家二十四代井伊直政と改名。徳川四天王の一人とまでいわれる武将へと成長していくのであった。