Năm 1859, khi chiếm được Sài Gòn người Pháp đã gấp rút quy hoạch xây dựng Sài Gòn thành một đô thị lớn nhiều chức năng như hành chính, quân sự, kinh tế, cảng,…
Năm 1861, Phó Đô đốc Léonard Charner ra nghị định xác định địa giới thành phố Sài Gòn (Ville de Saigon) lúc đó phía đông là sông Sài Gòn, phía bắc là rạch Thị Nghè, phía nam là rạch Bến Nghé, phía tây từ chùa Cây Mai đến đồn Kỳ Hòa, diện tích 25 km².
Năm 1862, trung tá công binh Coffyn đã cho soạn dự án mở rộng thành phố Sài Gòn, Tuy nhiên, dự án này chỉ được triển khai một thời gian ngắn thì bị bỏ dở. Ngày 14 tháng 8 năm 1862, thống đốc đầu tiên của Nam Kỳ, Chuẩn đô đốc Louis Bonard ký Quyết định số 145 về quy định tổ chức hành chính tỉnh Gia Định, theo đó tỉnh Gia Định gồm 3 phủ, mỗi phủ có ba huyện, dưới huyện có tổng, dưới tổng có xã, thôn, lý, ấp. Về cơ bản vẫn giữ cách phân chia hành chính của triều Nguyễn.
Địa bàn thành phố Sài Gòn theo quy hoạch của Coffyn nằm trải rộng trên cả 2 huyện Bình Dương và Tân Long, đều cùng phủ Tân Bình.
Năm 1865, quyền thống đốc Nam Kỳ, chuẩn đô đốc Pierre Roze đã ký nghị định quy định lại diện tích của thành phố Sài Gòn chỉ còn 3km² (nằm gọn trong khu vực quận 1 ngày nay), đồng thời cũng quy định thành phố Chợ Lớn trong một nghị định khác, với diện tích 1km² (nằm gọn trong quận 5 hiện nay).
Giữa 2 thành phố là các thôn xã như Phú Thạnh, Thái Bình, Tân Hòa, Phước Hưng, Nhơn Giang, Tân Kiểng, An Bình, An Đông, Hòa Bình… vẫn thuộc 2 huyện Bình Dương và Tân Long như cũ, sau khi chiếm được thêm 3 tỉnh Tây Nam Kỳ, Phó Đô đốc de La Grandière xóa bỏ cách phân chia địa giới hành chính cũ của triều Nguyễn, hủy bỏ cấp tỉnh và phủ, chia toàn cõi Nam Kỳ thành 25 huyện, lúc này được gọi là địa hạt hay quận thay cho các huyện trước đây. Địa bàn của thành phố Sài Gòn và thành phố Chợ Lớn, cùng các xã thôn ở giữa đều thuộc địa hạt (hay Quận) Sài Gòn. Trước đó, de La Grandière cũng đã ban hành nghị định số 53 năm 1867, quy định về việc “Tổ chức một ủy ban thành phố Sài Gòn”.
Năm 1869, Chuẩn đô đốc Gustave Ohier đã ban hành nghị định số 131, cải danh Ủy hội thành phố thành Hội đồng thành phố, do một viên Thị trưởng (Maire) đứng đầu Hội đồng và một số sửa đổi chi tiết về thành phần nhân sự của Hội đồng.
Năm 1876, Chuẩn đô đốc Victor Auguste Duperré, Tổng chỉ huy quân Pháp tại Nam Kỳ, ra nghị định phân chia toàn bộ Nam Kỳ thành 4 khu vực hành chính lớn, gọi là circonscription administrative, mỗi khu vực ấy lại gồm nhiều tiểu khu hay hạt tham biện (arrondissement administratif). Sài Gòn là một trong 4 khu vực hành chính lớn và gồm 5 hạt: Sài Gòn (đến năm 1885 mới đổi thành hạt Gia Định), Tây Ninh, Thủ Dầu Một, Biên Hòa và Bà Rịa.
Năm 1877, Tổng thống Pháp Mac Mahon ra “Sắc lệnh về tổ chức cấp thành phố của Thành phố Sài Gòn”. Theo đó, thành phố Sài Gòn được nâng cấp thành công xã, địa giới của thành phố Sài Gòn đã được mở rộng hơn: phía tây nam đến khu vực Cầu Ông Lãnh, phía đông bắc đến khu công viên Lê Văn Tám hiện nay.
Năm 1879, thống đốc dân sự đầu tiên của Nam Kỳ, Le Myre de Vilers đã ký nghị định “thành lập một Hội đồng thành phố Chợ Lớn”
Năm 1894, một nghị định đã mở rộng địa giới thành phố Sài Gòn về phía Bắc đến khu vực Hòa Hưng ngày nay. Diện tích thành phố được mở rộng hơn 4km², thuộc địa giới của quận 1 và quận 3 ngày nay.
Năm 1899, Toàn quyền Joseph Athanase Paul Doume ra nghị định đổi tên gọi “hạt” thành “tỉnh” (province) và chia Nam Kỳ thành 3 miền, với 20 tỉnh và 3 thành phố Sài Gòn, Chợ Lớn, thành phố tự trị Cap Saint Jacques và Côn Đảo không thuộc tỉnh nào, thành phố Sài Gòn nằm giữa địa giới của tỉnh Gia Định, còn thành phố Chợ Lớn nằm giữa địa giới của tỉnh Chợ Lớn.
Đến năm 1910, hai thành phố Sài Gòn và Chợ Lớn đã được mở rộng thêm diện tích, sáp nhập các xã thôn ở giữa thuộc 2 tỉnh Gia Định và Chợ Lớn, bắt đầu tiếp giáp nhau tại vị trí nay là đường Nguyễn Văn Cừ và Nguyễn Thiện Thuận. Sài Gòn cũng được mở rộng về phía Nam, bao gồm cả địa bàn quận 4 và một phần quận 7 ngày nay
Năm 1931, khu Sài Gòn-Chợ Lớn được thành lập lại theo sắc lệnh của Tổng thống Pháp. Đứng đầu khu Sài Gòn-Chợ Lớn là một Khu trưởng, do Toàn quyền Đông Dương bổ nhiệm. Khu trưởng là Chủ tịch Hội đồng Quản trị khu Sài Gòn-Chợ Lớn, quản trị chung cả 2 thành phố. Thành phố Chợ Lớn được mở rộng hơn sát nhập thêm 1 số vùng của tỉnh Chợ Lớn, nhưng thành phố Sài Gòn thu hẹp, cắt trả khu vực từ kinh Bàu Đồn đến Kinh Tẻ (nay thuộc quận 7) về cho quận Nhà Bè. Tổng diện tích của cả khu tăng lên 51 km2. Trong thời gian chuyển tiếp chức Thị trưởng của mỗi thành phố tạm thời vẫn giữ, nhưng nhiều quyền hạn của chức vụ này chuyển sang cho Khu trưởng. Đến năm 1934 bãi bỏ chức Thị trưởng của hai thành phố, nhưng còn duy trì hoạt động của hai Tòa Thị chính (còn gọi là Dinh Xã Tây) Sài Gòn và Chợ Lớn để xử lý công việc hành chính.
Năm 1941, các Tòa Thị chính của hai thành phố cũ: Sài Gòn và Chợ Lớn bị giải thể. Toàn Khu Sài Gòn-Chợ Lớn được chia thành 5 quận, bao gồm:
- Quận Nhứt (nay thuộc một phần quận 1)
- Quận Nhì (nay thuộc một phần quận 1)
- Quận Ba
- Quận Bốn (ngày nay có một số khu vực là địa bàn quận Năm và quận Tám)
- Quận Năm (ngày nay có một số khu vực thuộc địa bàn quận 6)
