정관 초기 당 태종 이세민은 신하들에게 적극적으로 간언(諫言)을 하도록 이끈다. 위징의 간언은 그 중에서도 단연 돋보인다. 그는 조금도 회피하거나 그냥 넘어가는 법이 없었다. 위징의 간언을 보면 그가 당 태종을 만나지 못했다면 제대로 된 생애를 마감할 수 있었을까 라는 의구심이 들 정도이다. 
  정관(貞觀) 4년(630) 이 해에 사형으로 판결 받은 자가 29명이었다. 태종이 이러한 상황을 탄식하며 말하길 “지금은 천하의 큰 난리가 지난 직후이니 백성들을 다스리기가 어렵지 않겠는가?”

  위징이 말하길 “대란(大亂) 이후 다스리기가 쉬운 것은 비유컨대 배고픈 사람에게 쉽게 음식을 먹일 수 있는 것과 같습니다.”

  태종이 말하길 “옛 말에 선한 자가 나라를 다스린 지 백년이 지나야 백성을 죽이는 일이 없게 된다고 하지 않았던가?”

  위징이 말하길 “그것은 성인(聖人)의 말씀이 아닙니다. 성인이 나라를 다스리면 백성의 호응함이 마치 메아리와 같아서 한 달이면 평안해질 수 있사오니 어찌 어렵겠습니까?”

  봉덕이(封德彛)가 말하길 “그렇지 않습니다. 하(夏)·은(殷)·주(周) 삼대(三代) 이후에 나라의 기강이 날로 무너짐에 진(秦)나라는 법률에 의거해 다스렸고, 한(漢)나라는 패도(覇道)와 왕도(王道)를 섞어 다스렸습니다. 이는 다스리고자 했으나 할 수 없었던 것이지 다스릴 수 있는데도 그렇게 하지 않은 것이 아니었습니다. 위징은 서생(書生)이라 공론(空論)을 좋아하여 헛되이 나라를 어지럽히니 그의 말을 들어서는 안됩니다.”

  위징이 말하길 “삼황(三皇) 오제(五帝)는 가르쳐서 백성들의 마음을 바꾼 것이 아닙니다. 황제의 도를 행하여 왕이 되신 것이니, 이는 그들의 행한 바가 어떠한 가를 볼 따름인 것입니다. 황제(黃帝)가 일흔 번을 싸워서야 치우(蚩尤)에게 이길 수 있었으며, 이로 인하여 무위(無爲)의 다스림에 이를 수 있었습니다. 구려(九黎)가 덕을 해치는 정치를 하니 전욱(頊)이 그를 쳐서 이긴 후에야 잘 다스려질 수 있었습니다. 걸왕(桀王)이 폭정(暴政)을 하자 탕왕(湯王)이 그를 내 쫓았고, 주왕(紂王)이 무도하자 무왕(武王)이 그를 처벌했습니다. 이리하여 탕왕과 무왕 때에는 태평시대에 이를 수 있었습니다. 만약 사람들의 기강이 점점 무너져 진실함으로 돌아갈 수 있다면 지금은 이미 도깨비나 귀신처럼 되었을 것이니, 어찌 그들을 교화할 수 있겠습니까?” 봉덕이는 반박하지 못했지만 마음속으로는 위징의 말이 옳지 않다고 생각했다.

  태종은 위징의 말을 받아들여 의심치 않았다. 이렇게 하여 천하가 잘 다스려지게 되었다. 동쪽으로 바다 끝까지 남쪽으로 산 너머까지 사람들은 대문을 잠그지 않았으며 여행객들은 식량을 준비하지 않고 도중에서 얻어먹을 수 있었고, 오랑캐의 우두머리들은 한족(漢族)처럼 의관을 착용하고 칼을 차고 나라를 지켰다.

  태종이 여러 신하들에게 말하길 “이것이 위징이 내게 인의(仁義)의 다스림을 행할 것을 권하여 그 효력이 나타난 것이다. 봉덕이에게 보여주지 못함이 애석하다.” 위징은 얼마 안 있어 시중(侍中)의 직책을 맡았다가 작군공(綽郡公)으로 승진하였다.

  태종이 구성궁(九成宮)에 행차하였는데 태종을 모시는 궁인(宮人)들은 궁성아래 숙사를 정했다. 이때 복야인 이정[李靖:청명(淸明) 절후를 관장]과 시중(侍中)인 왕규(王珪)가 잇달아 도착하니 관리들이 궁인들의 숙소를 다른 곳으로 옮기고 그곳에 이정과 왕규를 머물게 했다. 태종이 이런 일을 전해 듣고 노하여 말하길 “어찌하여 나의 궁인들을 경시하는가?” 하면서 관련된 자들을 문책하도록 명령했다.

  위징이 말했다. “이정과 왕규는 모두 폐하의 심복(心腹) 대신입니다. 궁인들은 단지 궁을 청소하는 시종일 따름입니다. 대신들이 출정하면 궁성의 관리는 조정의 법식을 따라야 하고 그들이 돌아오면 폐하께서는 그들의 노고를 위로하셔야 합니다. 무릇 관사(官舍)에 이정 등 조정 대신이 오면 관리들은 응당 그들에게 예의를 갖춰 대접해야 하며 궁인들은 이와는 달리 음식을 올리는 등의 일 이외에는 관여치 못합니다. 이와 같은 일로 관리들을 문책하신다면 세상 사람들이 놀랄 것입니다.” 태종이 깨닫고 다시는 문책하지 않았다.

  뒷날 단소루(丹樓)에서 연회를 여는데 태종이 술을 마시면서 장손무기[長孫無忌:동지(冬至) 절후를 관장]에게 말하였다. “위징과 왕규가 은태자(隱太子, 당 고조의 첫째 아들 이건성)와 소왕(巢王, 당 고조의 넷째 아들 이원길)을 섬길 때에는 정말 미웠는데, 내가 원망함을 버리고 그들을 등용했으니 고인(故人)들에게 부끄럽지 않도다. 그런데 매번 위징이 간언하면서 나의 말을 따르지 않고, 내가 말하면 위징이 언제나 ‘아니다’고 하니 이를 어찌하면 좋겠는가?”

  위징이 말하길 “신은 폐하께서 하시고자 하는 일이 옳지 못했기 때문에 간언하였습니다. 만약 옳지 않다고 여기면서도 폐하의 말씀이라 하여 따른다면 폐하께서는 곧 행동으로 옮기시지 않겠습니까. 신은 그것을 염려하였습니다.”

  태종이 말하길 “공손한 마음으로 먼저 나의 말에 따르고 별도의 방법으로 달리 진언(進言)하면 되지 않겠는가?”

  위징이 말하길 “옛날 순임금이 신하들에게 경계하여 말씀하시길 ‘너희들은 내 앞에서는 따르면서 물러나서 뒷말을 하는 일은 없어야 한다.’고 하셨습니다. 만약 폐하의 말씀대로 앞에서는 따르고 별도로 진언(進言)한다면 이것이 바로 순임금께서 말씀하신 뒷말인 것입니다. 후직(后稷)과 우(禹)는 요순(堯舜)을 이와 같이 받들지 않았습니다.”

  태종이 크게 웃으면서 말하길 “사람들이 말하길 위징의 행동이 게으르고 나태하다고 하는데 나는 단지 그의 아름다운 모습만 볼 뿐이다.”

  위징이 거듭 절하며 말하길 “폐하께서 소신으로 하여금 말을 할 수 있도록 이끌어 주셔서 감히 그렇게 하고 있을 뿐입니다. 만약 폐하께서 소신의 간언을 받아들이시지 않으신다면 신이 어찌 여러 번 폐하의 뜻을 거역할 수 있었겠습니까.”

  정관 7년(633) 위징은 시중(侍中)이 되었다. 이때 상서성(尙書省)에 해결되지 않은 묵은 소송(訴訟)이 있었는데 태종이 위징에게 이를 처리하도록 하였다. 위징은 법률의 대략은 파악하고 있었지만 익숙하지는 않았다. 하지만 그는 일을 처리함에 있어 각 소송의 상황과 형편을 따라서 처결했는데 사람들이 기쁘게 따랐다.

  위징은 승진하여 좌광록대부(左光祿大夫)와 정국공(鄭國公)이 되었는데 병이 많아서 사직(辭職)하고자 했다. 태종이 말하길 “공은 어찌 보지 못하는가. 금이 귀하다고 하나 산에만 있다면 그 귀함을 어찌 사람들이 알겠는가. 훌륭한 대장장이를 만나 좋은 그릇으로 만들어져야 사람들이 그것을 보배로 여기지 않는가. 짐은 방금 스스로를 금에 비유하였다. 경(卿)을 훌륭한 대장장이로 하여 짐을 단련(鍛鍊)하려고 한다. 경이 비록 병이 있다고 하나 아직 노쇠하지는 않았으니 어찌 경의 편의를 보아줄 수 있으랴?” 하였다. 위징은 간청(懇請)하였으나 거듭 거절당했다. 오히려 특진(特進)하여 문하성(門下省)의 일을 관장하였으며 태종의 명으로 조정의 문장과 나라의 법률을 정하는 모임에 참여하여 그 득실을 논하고 봉록, 관직, 국방 등의 문제를 처리했다.

  문덕황후를 소릉(昭陵, 당 태종이 死後 합장됨)에 장사지낸 후 태종은 궁궐의 뜰에 누대를 만들어 소릉을 바라보곤 했다. 언젠가 태종이 위징과 같이 누대에 올랐다. 위징이 눈을 가늘게 뜨면서 말하길 “신은 눈이 어두워서 보이지 않습니다”

  태종이 소릉을 가르키니 위징이 말하길 “저곳은 소릉이 아닙니까?”

  태종이 말하길 “그렇다.”

  위징이 말하길 “신은 폐하께서 헌릉(獻陵, 당 고조 이연의 능)을 바라보시는 줄 알았습니다. 소릉은 이미 보았습니다.” 태종은 이 말을 듣고 누대를 허물도록 명령했다.

  태종이 낙양에 행차하여 소인궁(昭仁宮)에 머물렀는데 대접이 소홀하다 하여 꾸짖는 일이 많았다. 위징이 말하길 “수(隋)나라는 오직 음식을 헌납치 않고 받들어 봉양함이 정성스럽지 않은 것만을 꾸짖었습니다. 그러나 그것만으로도 망하는 데 이르렀습니다. 하늘이 폐하께 수나라를 대신하라는 천명(天命)을 내리셨으니 삼가 두려워하며 경계하고 검약해야 하거늘 어찌하여 사람들로 하여금 사치스럽게 하지 못한 것을 후회하도록 하십니까. 만일 족하게 여기신다면 지금도 충분합니다. 그러나 부족하게 여기신다면 지금의 만(萬) 배라고 해도 어찌 족함이 있겠습니까?” 태종이 놀라며 말하길 “공이 아니면 이러한 말을 듣지 못했을 것이오.”라고 했다.

  위징이 물러나서 다음과 같은 상소를 올렸다.

  『서경(書經)』에 이르기를‘덕(德)을 밝히고 벌(罰)은 신중히 하라’,‘오직 형벌을 아낀다’라고 하였고 『예기(禮記)』에 이르기를 ‘윗사람이 의심이 많으면 백성은 미혹하게 되고, 아랫사람이 알기 어려우면 임금이 수고스럽게 된다.’라고 하였습니다. 무릇 벌을 주고 상을 내리는 근본은 권선징악(勸善懲惡)에 있는 것입니다. 제왕이 내리시는 바는 천하에 한결 같으셔야 합니다. 친소(親疎)와 귀천(貴賤)에 따라 벌의 경중(輕重)이 달라져서는 안 됩니다. 그런데 오늘날의 상과 벌은 폐하의 희노(喜怒)와 호오(好惡)에 따라 달라집니다. 폐하가 즐거우시면 법에 저촉된 일이 있어도 형벌을 내리지 않으시고 화가 나시면 법률에 없는 것도 죄(罪)가 됩니다. 좋아하시면 가죽에 구멍을 뚫어서 터럭만한 것이라도 찾아내시고 싫어하시면 때를 벗겨서 작은 흔적이라도 찾아내십니다. 무릇 형벌이 지나치면 소인(小人)의 도가 생겨나고 상(賞)이 잘못 내려지면 군자의 도가 소멸됩니다. 소인의 악을 징계하지 않고 군자의 선을 장려하지 않으면서 다스림이 편안해지고 형법이 잘 시행되기를 바란다는 것은 들어보지 못했습니다. 근자에 사람들에게 벌을 내리시는데 어떤 사람은 바치는 물건이 넉넉하지 못하다고 해서, 어떤 사람은 폐하께서 하고자 하시는 바를 좇지 않는다고 해서 벌을 내리시니 이는 모두 다스림의 급선무는 아닙니다. 무릇 ‘부귀(富貴)는 교만과 사치를 기약하지 않아도 사치와 교만은 저절로 이른다.’는 말이 있는데 이는 실로 빈말이 아닙니다.

  또한 소신이 지금 비교하고자 하는 바는 오직 수(隋)나라입니다. 수나라 국고(國庫)의 저장량과 현재의 우리의 창고에 있는 물자(物資), 수나라 병사, 병마(兵馬)와 현재 우리 군대의 현황, 수나라 당시의 전국 호구(戶口)와 현재 우리 백성의 숫자 이 모두를 비교할 때 현재의 몇 배를 보태야 수나라의 전성기에 견줄 수 있겠습니까. 그런데 수나라는 부강하였지만 나라를 잃었습니다. 이는 동요(動搖)되었기 때문입니다. 수나라에 비하면 우리는 가난하고 수도 적지만 편안하니 이는 안정되어 있기 때문입니다. 안정되면 편안하고 동요되면 어지럽다는 것은 누구나 아는 바입니다. 숨겨져 있어서 알기 어렵고 미미(微微)하여 관찰하기 힘든 일이 아닌 것입니다. 편안할 때는 위태로움을 생각하지 못하고, 다스려질 때는 난국(亂局)을 염두에 두지 못하며, 존속되어질 때는 망하는 것을 고려하지 못합니다. 바야흐로 수나라가 아직 어지러워지기 전에는 스스로 난리가 없을 것이라고 생각했었고, 망하기 전에는 반드시 망하지 않을 것이라 생각했습니다. 그래서 군사를 자주 동원하고 부역(賦役)을 멈추지 않았습니다. 이로 인해 사람들이 살육(殺戮)되고 치욕(恥辱)을 당함에 이르러서도 멸망하게 되는 까닭을 깨닫지 못하였습니다. 이 어찌 슬픈 일이 아니겠습니까!

  무릇 얼굴이 예쁜지 미운지 알려면 반드시 고요한 물에 비춰보아야 하고, 정치의 안녕과 위태로움을 살펴보려면 반드시 망한 나라를 본보기로 취해 보아야 합니다. 『시경(詩經)』에 이르길 ‘은(殷)나라의 본보기는 멀지 않다. 바로 하(夏)나라의 시대’라고 하였습니다. 소신이 바라건데 오늘날 동요(動搖)와 안정(安定)은 수나라를 귀감(龜鑑)으로 하여 본다면 존속될 것인지, 다스려질 것인지 혹은 어지러울 것인지를 알 수 있습니다. 위태로운 까닭을 생각하면 편안할 수 있고, 어지러워진 까닭을 생각하면 다스릴 수 있으며, 망한 까닭을 생각하면 존속되어질 수 있습니다. 이제 국가의 존망(存亡)은 폐하에게 달려 있습니다. 폐하께서는 기호(嗜好)와 욕심을 절제하시고, 사냥 다니시는 것을 삼가시고, 사치한 것을 멈추고, 급하지 않은 일은 중지하며, 한쪽의 말만을 듣는 것을 신중히 하고, 충성스러운 이를 가까이 하며, 아첨하는 이를 멀리하십시오. 무릇 나라를 지켜나가는 것은 쉽고 나라를 새로 얻는 것은 실로 어렵습니다. 지금 이미 그 어려운 바를 성취해 놓고 어찌하여 그 쉬운 바를 지켜나가지 못하십니까. 보존함이 견고하지 않으면 교만과 사치와 방탕함으로 나라를 동요시키게 될 뿐입니다.