博文自身の語るところによれば、「先祖は河野通有の裔で、淡路ヶ峠城主の林淡路守通起である」という。また「実家は周防国熊毛郡束荷村の農家で、博文の祖父は、林家の本家の養子となり本家を継いだ。林助左衛門の子、十蔵は萩藩の蔵元付中間水井武兵衛の養子となり「水井十蔵」と名乗るが、安政元年(1854年)水井武兵衛が周防国佐波郡相畑の足軽で藤原姓を称するの養子となり、と名を改めたため、十蔵も伊藤氏を称した」という。伊藤十蔵の長男が、伊藤博文公爵である。博文の跡は養子の博邦(盟友井上馨の甥)が継いだ。