สำหรับประวัติ พล.ต.อ.สวัสดิ์ นั้น เกิดเมื่อวันที่ 20 กันยายน พ.ศ. 2478 เป็นชาวจังหวัดเชียงใหม่ สมรสกับ คุณหญิง คัทลิยา อมรวิวัฒน์ มีบุตรธิดา 3 คน คือ นางสาวอำไพพรรณ อมรวิวัฒน์, ดร.สุทธาภา อมรวิวัฒน์ และ นายณัฐวุฒิ อมรวิวัฒน์
ประวัติการศึกษา จบระดับมัธยมศึกษาจากโรงเรียนอัสสัมชัญ ปริญญาตรี รัฐประศาสนศาสตรบัณฑิต จากโรงเรียนนายร้อยตำรวจ และปริญญาโท สาขารัฐประศาสนศาสตร์ มหาวิทยาลัยอินเดียนา สหรัฐอเมริกา และ ปริญญาโท สาขาพัฒนาสังคม มหาวิทยาลัยเกษตรศาสตร์
ส่วนประวัติการทำงาน ดำรงตำแหน่งอดีตอธิบดีกรมตำรวจ ระหว่าง พ.ศ. 2534 - พ.ศ. 2536 และในขณะดำรงตำแหน่งอธิบดีกรมตำรวจ พล.ต.อ.สวัสดิ์ ได้รับแต่งตั้งให้ร่วมเป็นรองหัวหน้าคณะรักษาความสงบเรียบร้อยแห่งชาติ [4] (รสช.) ก่อการรัฐประหาร ยึดอำนาจจาก พลเอก ชาติชาย ชุณหะวัณ เมื่อวันที่ 23 กุมภาพันธ์ พ.ศ. 2534 นำโดย พลเอก สุนทร คงสมพงษ์ ผู้บัญชาการทหารสูงสุด
เคยเป็นอดีตสมาชิกวุฒิสภาจังหวัดเชียงใหม่ อดีตสมาชิกสภานิติบัญญัติแห่งชาติ พ.ศ. 2534 และสมาชิกสภาร่างรัฐธรรมนูญไทย พ.ศ. 2539
