南北两部内战不休，南匈奴便依附于中原王朝，做了东汉的走狗，汉献帝被李傕郭汜劫持时，南匈奴还曾派兵救驾，后来曹魏嫌他们不好管理，便把南匈奴分为五个小部落，由部帅分治，单于之子则被作为人质留在京城，刘渊就是个质子。