クローヴィスに始まるメロヴィング朝時代のフランク王国は、ドイツの各部族大公に「公 Herzog」の地位を与えて、従来の部族支配者の支配権をそのまま認めていた。もっともその部族支配権のありかたも部族によってピンキリで、南部のバイエルンはかなり部族の政治的統合がみられたが、北部のザクセンは政治的統合がきわめて未熟であった。
カール・マルテル ┃ ピピン(751-68) ┃ カール大帝（シャルルマーニュ、768-14） ┃ 843年ヴェルダン条約、870年メルセン条約 ルートヴィヒ１世敬虔帝(814-40) ┣━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━┓ ロタール１世 ルートヴィヒ１世 シャルル２世 （イタリア,840-55） （東フランク,843-76） （西フランク,843-77） ┣━━━━━━━┳━━━━━┓ ┣━━━━━━━━┓ ┃ ルートヴィヒ２世 ロタール２世 カール カール３世肥満王 カールマン ルイ２世(877-79) (855-75) (876-87) ┃ ┣━━━━┳━━━━━━┓ アルヌルフ ルイ３世 カルロマン シャルル３世 (887-99) (879-82) (879-84) (893-923) ┃ ┃ ルートヴィヒ４世 ルイ４世 (900-11) (936-54) ┃ ロテール (954-86) ┃ ルイ５世 (986-87)
カロリング朝の君主は、各部族の政治的結合の解体を図り、その領土を州に分け王が任命する「伯 Graf」に統治させた。そしてカール大帝によるザクセン制圧、及びバイエルン公タシロ３世廃位（その上で改めて封土授与）をもって、旧タイプの部族大公は消滅した。
だが、部族の政治的統合は「部族法典による共同体」という形で残存していた。10世紀はじめの東フランク王国カロリング朝断絶で、その共同体を背景にして部族大公が復活した。
しかしその部族大公は昔の支配者がそのまま復活したのではなかった。
フランク族居住地は西のロートリンゲン（ライン右岸）と東のフランケン（マイン川流域）に分裂していたし、テューリンゲンやフリーゼンでは大公権はついに成立しなかった。また大公となった一族の由来も、バイエルンのリウトポルト家がオストマルク辺境伯だったように、マルクグラーフ（辺境伯,Markgraf）の権力が部族領域に拡大したものであった。（ザクセン公リウドルフ家もザクセン東部辺境地域の豪族。）
ロタールの国はその死後、さらに３分割された。すなわち、長子ルートヴィヒがイタリア王と皇帝位を相続し、ロタール２世はロートリンゲン（ライン左岸）、カールはブルグンド・プロヴァンスを相続したのである。しかしこの３子の代でロタール系カロリング家は断絶し、イタリア、ロートリンゲン、ブルグンド・プロヴァンスは、それぞれ在地支配者たちが王を称して自立した。
ライン右岸のロートリンゲン（ロタールの国、ロタリンギア）と呼ばれる地域は、870年のメルセン条約でさらに東西フランクに分割されたが、879年のヴェルダン条約、880年のリベモン条約で、その全域が東フランクに属することになった。
911年に東フランクのカロリング家が断絶した際、ドイツの部族大公たちは西フランクのカロリング朝に服さず、フランケン公コンラート１世を国王に選出した。（ロートリンゲンの在地支配勢力のみは西フランクに帰属した。）
これをもって「ドイツ人国家」の歴史の始まりとする。（ただし彼の国の正式名称は「Regnum Francorum Orientale 東フランク王国」であった。「ドイツ王国 Regnum Teutonicorum」が初めて使用されたのは12世紀である。）
のち、919年にザクセン公ハインリヒ１世が東フランク王となると、彼は921年に西フランク王シャルル３世に王位を承認させ、ついでまもなくロートリンゲンを西フランクから奪った。また926年にはブルグンド王ルドルフ２世を臣従させ、ブルグンドからイタリアへの支配権の象徴たる「聖槍」を譲り受けた。これで東フランク王がロートリンケゲン・ブルグンド・イタリアに至る支配権まで獲得し、次代のオットー１世のローマ皇帝戴冠となるのである。
＜ザクセン公＞ オットー ┃《ザクセン朝》 ＜フランケン公＞ 国王ハインリヒ１世 コンラート (919-36) ┃ ＜バイエルン公＞┏━━━━━━━┫ ┣━━━━━━━┓ ハインリヒ ①オットー１世 国王コンラート１世 エーベルハルト ┃ (936,962-73) (911-18) ┃ ┣━━━━━━┓ ┃ ハインリヒ ②オットー２世 リウドルフ ┃ ┃ (973-83) ＜シュヴァーベン公＞ 女 ┃ ┣━━━━━━┓ ┃＜ロートリンゲン公＞ ④ハインリヒ２世 ③オットー３世 るいがるど─┰───コンラート (1002-24) (983-1002) オットー ┃ ハインリヒ ┃ 《ザリエル朝》 ①コンラート２世(1024-39) ┃ ＜バイエルン公＞ ②ハインリヒ３世(1039-56) 《ヴェルフ家》 ┃ ＜ザクセン公＞ ヴェルフ１世 ③ハインリヒ４世(1056-1106) 《ズップリング家》 ┃ ＜シュヴァーベン公＞ ┣━━━━━━━┓ ロタール３世 ┃ フリードリヒ─┰─あぐねす ④ハインリヒ５世 (1125-37) ハインリヒ ┃ (1106-25) ┃ ┣━━━━━━┓ ┣━━━━━━┓ げるとるーと─┰ハインリヒ高慢 女────┰フリードリヒ ①コンラート３世(1138-52) ┃ ┃ 《シュタウフェン朝》 ハインリヒ獅子公 ②フリードリヒ１世 ┃ (1152-90,赤髭王) ┃ ┣━━━━━━━━━━━┓ ┃ ④シュヴァーベン公フィリップ ③ハインリヒ６世 ┃ (1198-1208,摂政) (1190-97) ┃ ┃ ┃ ⑤オットー４世───────────べあとりくす ⑥フリードリヒ２世 (1209-12,対立国王) (1212-50) ┃ ⑦コンラート４世 (1250-54))
1197年、シュタウフェン朝ハインリヒ６世が亡くなった時、息子フリードリヒは３歳だった。シュタウフェン朝の皇帝と対立していた教皇は反撃の機会を得た。翌98年、ドイツ諸侯および司教の大部分はシュヴァーベン公フィリップを摂政に立てたが、反対派はバイエルン公ハインリヒ獅子公の子オットー４世を対立国王に立てた。教皇インノケンティウス３世もこれに一枚加わった。
1254年、コンラート４世の死によってシュタウフェン朝は断絶した。対立国王ホラント伯ウィレム(1247-56)には競争相手がいなくなったが、ドイツ諸侯は君主の地位に対する関心がなくなってしまっていた。この1254あるいは1256年以後、1273年のハプスブルク家ルドルフ１世の国王選挙までの時代を「大空位時代」という。
メロヴィング朝はキリスト教改宗を迫りつつ支配領域を広げていった。同様にカール大帝もザクセン制圧とキリスト教強要を平行して行う一方、王国内を州に分け「伯Graf」を任命し、王による全国支配を強化しようと図った。
しかしカロリング朝断絶後、西フランク王となったフランケン朝コンラート１世(911-19)は、部族大公の権勢拡大に対して無策であったため、部族大公は伯領や教会への支配力を伸ばし、ザクセン・バイエルンでは大公世襲、シュヴァーベンでは部族による大公選出などといった事態を招いていた。
次のザクセン朝ハインリヒ１世(919-36)は、ザクセン・フランク両部族から王に選出され、南部のバイエルン・シュヴァーベンとは何とか妥協を図った。またロートリンゲンも回復した。同時に、東部辺境のマイセン、マグデブルクに城塞を築いた。
次のオットー１世は、諸大公に臣従を要求したため、フランケン公エーベルハルト・ロートリンゲン公キゼルベルト・バイエルン大公エーベルハルトらの反乱がおこった。
これを鎮圧したオットーはロートリンゲン公に女婿コンラート、シュヴァーベン公に長子リウドルフ、バイエルン公に初めベルトハルト（アルヌルフの弟）のち自らの弟ハインリヒを任じた。これは、部族大公位を世襲阻止し国王による大公任免権を確保するという意図があったわけだが、大公そのものを廃止することはできなかったため、国王による全国支配のためには別の方法が必要となった。それが神聖ローマ帝国のザクセン朝時代に推進された「教会高権政策」である。
帝国国家行政の主要部分を教会に委ねる利点は次の３つである。
また教会にとっても、世俗領主の圧迫に悩まされているため、王権の保護を受けることは望ましいことであった。
国王の教会への保護育成政策は、フランク王国時代から「所領寄進・インムニテート特権付与」という形で行われていた。インムニテートとは不輸不入権のことであり、この地域を部族大公や伯の権限外とする特権のことである。これは一見教会領の封建化に見えるが、大公のみならず伯までもが自立傾向にあった当時としては、むしろ王権が及ぶ地域の拡大という側面が強かった。王はインムニテート地域への保護権という名目で、そこに代官Vogtを任命できたのである。
しかしカロリング時代までは、インムニテートが及ぶ範囲は下級裁判権までであり、高級裁判権に関してはインムニテート地域は伯Grafの支配下にあった。これに対してザクセン朝の諸帝は、高級裁判権をも教会に付与してインムニテート地域を完全に伯から独立させ、さらには教会にその周辺の伯領Grafschaftの管理をまかせるまでになった。
たとえばオットー１世は、マインツ・ケルン・マグデブルクの各大司教、及びシュパイエル・ツール・ヴォルムス・ミンデンの司教に周辺の伯領を管理させた。またハインリヒ２世はフランケンの伯たちの反乱を機に、この地域の全伯領を没収し、半分をヴュルツブルク大司教、残りの半分を新設のバンベルク司教に与えたのである。
他方、教会は所領の収入の一部を王に提供し、また王の軍への出兵割り当ても果たす義務があった。
帝国中央行政機構は全く未熟なものであった。フランク王国時代より王は国内各地にある宮廷や自分の建てた修道院などを巡回して統治していた。（アーヘンはカール大帝が晩年に特に好んで滞在した場所であるがいわゆる「首都」ではない。また各地の宮廷をPfalzと呼び、それを管理するのが宮中伯Pfalzgrafである。ライン流域をプファルツと呼ぶのは「ライン宮廷伯」領だったからである。）
帝国行政は王の書記局（カンツライ）が発行する文書により行われ、国王礼拝堂の聖職者がその書記（カンツラー）を兼ねた。10世紀半ばにはマインツ大司教が帝国書記官長（ライヒスカンツラー）の地位につく慣例となった。その他、有力聖職者が王の政治顧問となった。たとえばオットー３世時代には、オーリアック大司教・ヒルデスハイム司教・クリュニー修道院長がそうであった。
この教会高権政策の条件は「国王が高位聖職者の任免権を持つ」ことである。その法的根拠は、「国王の私有教会支配権」といったものに由来すると考えられる。私有教会制度（Eigenkirchenwesen）とはゲルマン人がキリスト教化した頃からの古い風習で、有力者が教会を建設し領地を寄進した際、その有力者は教会にある種の権利を留保する、というものである。ライン・ドナウ地域にローマ時代からあった古い大司教座などは厳密には王の私有教会ではないが、ザクセン朝時代に王の私有教会支配権がこれらにも及んだもの、と解釈するのである。
ここから「帝国教会(Reichskirche)」という概念が生じる。帝国内のすべての司教座・修道院は国王の直接の支配下に入り、司教は国王の裁判に服し、宗教会議は国王の許可のもとで開催されることとなる。
ところで、司教・修道院長が国王によって任命される際、しばしば貢租が徴収された。これが後に「聖職売買」とみなされ問題となった。
ザクセン朝が断絶しザリエル朝時代になると、クリュニー修道院を中心とする教会刷新運動、それに続く教皇グレゴリウス７世と皇帝ハインリヒ４世との聖職叙任権闘争が起こり、「帝国教会政策」は根底から揺らいだ。皇帝ハインリヒ５世は1122年ヴォルムス協約において、帝国教会の世俗奉仕義務を確保したが、皇帝権はその宗教的基盤を失うことになった。
そこで新たな皇帝権の裏付けとして持ち出されてきたのが「皇帝理念」である。
そもそも「神聖ローマ帝国」という名称は、むしろその「実体」がなくなってから使われるようになったものである。
「実体」は、ドイツ王権がブルグンド・イタリアにまで拡大され、ローマ教皇権を支配下に収めた結果生じたものである。すなわち、ザクセン・ザリエル・シュタウフェンの３王朝まではその「実体」がかろうじて存在していた時代である。しかしシュタウフェン朝の没落とともにイタリア支配が最終的に崩壊し「実体」は消滅する。
その後に用いられる「神聖ローマ帝国」の国名は「理念」を表明したものである。
「皇帝理念・帝国理念」には、「キリスト教的ローマ帝国、カール大帝の帝国の継承、その皇帝権はロタールのイタリアに伝えられ、オットー１世もイタリアを支配することで帝冠を得た」という回想的な解釈もある。
しかしより重要なのは「中世西ヨーロッパは教皇と皇帝の２つの中心を持つ楕円世界であり、教皇の普遍的catholic支配に対応して、皇帝も西ヨーロッパを政治的に統合する存在である」という理念である。この「皇帝理念」を実現すべく歴代皇帝はイタリア政策に熱中したのである。
オットー１世の時はこの国は単に「帝国Imperium」としか呼ばれなかった。オットー３世の時には、その印に「ローマ帝国の復興Renovatio Imperii Romanorum」と刻まれていた。それがシュタウフェン朝フリードリヒ１世赤髭王の1157年以来、ローマ帝国とならんで「神聖帝国Sacrum Imperium」と呼ぶようになったのは、皇帝権を神に直属のものとするイデオロギーによって教皇に対抗するためであった。
しかしそれにもかかわらずシュタウフェン朝は、ザリエル朝以前の権威を甦らせることはできず、帝国には壮大な「理念」と「神聖ローマ帝国Sacrum Imperium Romanorum」の国号（対立国王ヴィルヘルム・フォン・ホラントの1254年に初めて使用された）だけが残された。
ハプスブルク家のフリードリヒ３世の時代になると、この国名にはしばしば「ドイツ国民の」という形容詞がつけられるようになり（Sacrum Imperium Romanorum Nationis Germanicae）、1486年の帝国ラント平和令において、公式な制定法の中では初めて「ドイツ国民のローマ帝国(das Römisches Reich Deutscher Nation)」という呼称が用いられたのである。