องค์กรของระบบตุลาการของรัฐบาลกลาง รวมทั้งขนาดของศาลฎีกา จัดตั้งขึ้นโดยสภาคองเกรส ตั้งแต่ปี พ.ศ. 2332 ถึง พ.ศ. 2350 ศาลประกอบด้วยผู้พิพากษาหกคน ในปีพ.ศ. 2350 มีการเพิ่มความยุติธรรมครั้งที่เจ็ด ตามมาด้วยความยุติธรรมครั้งที่แปดและเก้าในปี พ.ศ. 2380 และครั้งที่สิบในปี พ.ศ. 2406 ขนาดของศาลบางครั้งอาจถูกชักใยทางการเมือง ตัวอย่างเช่น ในปี พ.ศ. 2409 สภาคองเกรสจัดให้มีการลดระดับศาลอย่างค่อยเป็นค่อยไป (ผ่านการขัดสี) สุขภาพแข็งแรง ให้กับผู้พิพากษาเจ็ดคนเพื่อให้แน่ใจว่าประธานาธิบดีแอนดรูว์ จอห์นสัน ซึ่งต่อมาสภาผู้แทนราษฎรกล่าวโทษและวุฒิสภาเพิ่งพ้นผิดอย่างหวุดหวิด ไม่สามารถแต่งตั้งผู้พิพากษาคนใหม่ได้ จำนวนผู้พิพากษาถึงแปดคนก่อนสภาคองเกรส หลังจากที่จอห์นสันออกจากตำแหน่ง ได้นำกฎหมายใหม่มาใช้ (พ.ศ. 2412) โดยกำหนดจำนวนไว้ที่เก้าคน ซึ่งยังคงอยู่ตั้งแต่นั้นเป็นต้นมา ในช่วงทศวรรษที่ 1930 ประธานาธิบดีแฟรงกลิน ดี. รูสเวลต์ขอให้สภาคองเกรสพิจารณากฎหมาย (ซึ่งต่อมาก็ปฏิเสธ) ซึ่งจะอนุญาตให้ประธานาธิบดีแต่งตั้งผู้พิพากษาเพิ่มเติมสำหรับสมาชิกแต่ละคนในศาลที่มีอายุ 70 ​​ปีขึ้นไปที่ไม่ยอมเกษียณ